La courbe ROC

Pour rendre le critère de performance indépendant de la valeur de séparation sélectionnée (cutoff) on calcule et trace la courbe qui représente la sensibilité (sur l’axe vertical) par rapport à un moins la spécificité (sur l’axe horizontal) pour toutes les valeurs de séparation (cutoff) possibles. Le numérateur est aussi appelé pourcentage de hit «positif » et le dénominateur est aussi dénommé   probabilité de « fausse alarme » (Green et Swets, 1966). Cette courbe[4] est la courbe des « caractéristiques d’opération du récepteur”  (ROC - receiver operating characteristics).

La précision prédictive de procédures de classification telles que celles comparées ici peut être mesuré par l’aire sous la courbe ROC connue sous les initiales AUC ou AUROC. AUC est une mesure de performance qui ne dépend pas de la valeur de séparation (cutoff). Ses valeurs s’étalent de 0,5, la performance d’une procédure de classification non discriminante, aléatoire à 1.0, la performance parfaite.

Les critères choisis pour évaluer les performances prédictives des modèles doivent être de nature prédictive et se différentier ainsi des critères traditionnels de mesure de la qualité d’une estimation comme ceux basés sur les tests d’hypothèses (qui vérifient le caractère significatif des paramètres estimés) ou même du taux de re-substitution (donné par le PCC appliqué à l’échantillon d’estimation).