Comme nous l'avons vu dans un article précédent sur Matrices de confusion, les mesures d'évaluation sont essentielles pour évaluer les performances des modèles de vision par ordinateur. Dans cet article, nous examinerons de plus près les métriques d'évaluation COCO et en particulier celles que l'on peut trouver sur le site. Plateforme Picsellia.
Afin de mieux comprendre les sections suivantes, rappelons rapidement quelques métriques d’évaluations :
Rappels et définitions
TP, FP, FN, TN
- TP comme vrai positif: se produit lorsqu'un modèle prédit correctement un résultat positif.
- TN comme vrai négatif: se produit lorsqu'un modèle prédit correctement un résultat négatif.
- FP comme faux positif: se produit lorsqu'un modèle prédit un résultat positif alors qu'il aurait dû être négatif.
- FN comme faux négatif : se produit lorsqu'un modèle prédit un résultat négatif alors qu'il aurait dû être positif.
Précision
La précision indique combien de cas positifs prédits sont corrects. Il quantifie le rapport entre les vrais positifs et le nombre total de prédictions positives et est calculé comme suit :
La précision révèle la capacité du modèle à faire des prédictions positives précises. Une valeur de précision élevée indique que lorsque le modèle prédit un résultat positif, il est souvent correct.
Rappel
Le rappel, également connu sous le nom de sensibilité ou taux de vrais positifs, mesure le rapport entre les vrais positifs et le nombre total d'échantillons positifs réels et est calculé comme suit :
Le rappel se concentre sur la capacité du modèle à identifier correctement les échantillons positifs dans l'ensemble du pool d'instances positives.
Intersection sur Union
Couramment utilisé en vision par ordinateur pour des tâches telles que la détection d'objets, la segmentation d'instances et la segmentation d'images, IoU est une métrique qui évalue l'étendue du chevauchement entre deux cadres de délimitation, fournissant une mesure de la façon dont un objet prédit s'aligne avec son homologue de vérité terrain. IoU permet de quantifier la précision et le rappel des algorithmes de détection. Un score IoU plus élevé implique une prédiction plus précise.
Mathématiquement, IoU est défini comme le rapport de la zone d'intersection à la zone d'union de la boîte englobante prédite et de la boîte englobante de la vérité terrain :
IoU est un nombre compris entre 0 et 1.
- Si IoU = 0, cela signifie qu’il n’y a pas de chevauchement entre les cases.
- Si IoU = 1, cela signifie qu’ils se chevauchent complètement.
Vous pouvez toujours lire notre article sur la matrice de confusion pour en savoir plus sur la précision, le rappel, les vrais positifs et négatifs, et les faux positifs et négatifs.
Maintenant que nous sommes clairs sur ces mesures, approfondissons et examinons la précision moyenne et le rappel moyen.
Précision moyenne (AP) et rappel moyen (AR) pour la détection d'objets
1) Prédictions et annotations : imaginez une image, avec des prédictions faites par votre modèle de détection d'objets, qui comprend des cadres de délimitation autour des objets ainsi que des scores de confiance. Vous disposez également d'annotations de vérité terrain qui spécifient les positions et les classes réelles des objets.
Voici une évaluation d’une expérience sur la plateforme Picsellia, les cases vertes sont la vérité terrain et les rouges sont les prédictions du modèle.
2) Calcul IoU : calculez l'intersection sur l'union pour chaque paire prédiction-annotation. IoU mesure le chevauchement entre la prédiction et l'annotation en prenant le rapport entre la zone d'intersection et la zone d'union comme expliqué dans le premier paragraphe.
3) Sélection du seuil IoU : sur COCO, la précision moyenne est évaluée sur plusieurs valeurs IoU, les seuils de 0,50, la plage 0,50-0,95 et 0,75.
4) Calcul de précision : pour chaque seuil IoU, triez les prédictions en fonction des vrais positifs, des faux positifs et des faux négatifs.
Exemple de tri pour IoU=0,5, https://learnopencv.com/
Évaluons notre exemple de voiture :
- Pour IoU = 0,5
4 vrais points positifs
0 faux positif
1 faux négatif
Précision = 4/4+0 = 1
Rappel =4/4+1= 0,8
- Pour IoU = 0,75
2Vrai positif
2 Faux positif
Précision = 2/2+2 = 0,5
Rappel = 2/2+1=0,66
Vous pouvez visualiser toutes ces données et bien plus encore sur Picsellia !
5) Courbe précision-rappel : créez une courbe précision-rappel en traçant la précision sur l’axe y et le rappel sur l’axe x pour chaque seuil IoU. Chaque point de la courbe correspond à un seuil IoU spécifique.
6) Calcul de l’aire sous la courbe (AUC) : calculez l’aire sous la courbe de précision-rappel pour chaque seuil IoU. Cela donne la valeur de précision moyenne (AP) pour chaque seuil.
- AP à IoU 0,50 : Calculez la moyenne des valeurs AP obtenues à partir de la courbe précision-rappel pour le seuil de 0,50.
- AP à IoU 0,50-0,95 : calculez la moyenne des valeurs AP obtenues à partir de la courbe précision-rappel sur la plage des seuils IoU (0,50 à 0,95).
- AP à IoU 0,75 : Calculez la moyenne des valeurs AP obtenues à partir de la courbe précision-rappel pour le seuil de 0,75.
Précision moyenne moyenne (mAP): Si vous avez plusieurs catégories d'objets, calculez l'AP pour chaque catégorie puis faites la moyenne pour obtenir le mAP.
Sur Picsellia, vous avez accès à un tableau qui résume vos données d’évaluation, regardons de plus près.
Voici ce que signifie chaque composant :
- Objets GT est le nombre d'objets annotés par l'utilisateur et Objets d'évaluation, est le nombre d'objets prédit par le modèle.
- Nous avons déjà vu ce que sont les précisions moyennes de 50, 50-95 et 75.
- Données petites, moyennes et grandes : ces catégories représentent généralement différentes plages de tailles d'objets. Les objets sont classés dans ces groupes en fonction des dimensions ou de la surface de leur cadre de délimitation. Par exemple:
- Petit : objets avec une petite zone de délimitation (par exemple, petits animaux, petits objets).
- Moyen : objets avec une zone de délimitation moyenne (par exemple, des véhicules de taille moyenne, des personnes).
- Grand : objets avec une grande zone de délimitation (par exemple, gros véhicules, grandes structures).
- Dans Average Recall, nous avons également les colonnes Det1, Det10, Det100 : celles-ci font référence à différents seuils de confiance utilisés pour la détection d'objets. La notation « DetX » représente le seuil de confiance utilisé pour déterminer si une prédiction est considérée comme un vrai positif ou un faux positif. Par exemple:
- Det1 : le modèle considère qu'une prédiction est vraiment positive si son score de confiance est supérieur au seuil de confiance le plus élevé (par exemple, prédiction top 1).
- Det10 : le modèle considère une prédiction comme un vrai positif si son score de confiance est supérieur au seuil de confiance des 10 premiers.
- Det100 : le modèle considère une prédiction comme un vrai positif si son score de confiance est supérieur au seuil de confiance des 100 premiers.
En évaluant AP et AR 50-95 sur des données petites, moyennes et volumineuses, vous pouvez obtenir un aperçu des performances de votre modèle sur différentes tailles d'objet et niveaux de chevauchement. Cette approche permet une compréhension plus complète des forces et des faiblesses de votre modèle dans différents scénarios.
Qu’en est-il de la segmentation d’instance et de la segmentation d’image ?
Toutes ces métriques sont utilisées non seulement pour la détection d'objets, mais également pour la segmentation d'instance et la segmentation d'image.
Segmentation des instances :
Dans la segmentation d'instances, l'objectif est non seulement de détecter les objets, mais également de segmenter chaque instance de l'objet séparément. Cela implique de prédire à la fois le cadre de délimitation et le masque au niveau des pixels pour chaque instance. Les métriques d'évaluation sont étendues pour tenir compte à la fois des aspects de détection et de segmentation.
- Précision moyenne (AP) : par exemple, la segmentation AP prend en compte à la fois la précision des prédictions du cadre de délimitation et la qualité des masques au niveau des pixels. Il est calculé en comparant les masques prédits aux masques de vérité terrain en utilisant IoU. Une prédiction est considérée comme correcte si la boîte englobante et le masque chevauchent suffisamment la vérité terrain. L'AP est calculé sur une plage de seuils IoU et moyenné.
- Rappel moyen (AR) : Semblable à AP, la segmentation AR, par exemple, prend en compte à la fois la détection et la segmentation. Il mesure dans quelle mesure le modèle rappelle les instances d'objets à différents seuils IoU. Une prédiction est considérée comme vraie positive si son IoU avec la vérité terrain dépasse un certain seuil. AR est également calculé sur une plage de seuils IoU et moyenné.
Segmentation des images :
Le but de la segmentation d'image est d'attribuer une étiquette de classe à chaque pixel d'une image. La principale métrique utilisée est IoU, qui quantifie également la similarité entre le masque de segmentation prédit et le masque de vérité terrain pour chaque classe.
Pour la segmentation d'images, IoU est utilisé pour mesurer la qualité des prédictions au niveau des pixels. Il calcule le rapport entre l'intersection des régions prédites et de vérité terrain et leur union. L'IoU est calculé séparément pour chaque classe, puis l'IoU moyen pour toutes les classes est souvent indiqué.
Il est important de noter que les détails exacts de la façon dont ces métriques sont calculées peuvent varier légèrement en fonction de la tâche de segmentation, de l'ensemble de données et du protocole d'évaluation spécifiques.
Par exemple, dans la segmentation et la segmentation d'images, ces métriques aident à quantifier la précision et la qualité des prédictions du modèle, fournissant ainsi des informations précieuses sur ses performances.
Pour aller plus loin sur IoU
L'IoU constitue une mesure fondamentale pour évaluer les performances des modèles de vision par ordinateur, aidant ainsi les chercheurs et les praticiens à affiner leurs algorithmes. Bien que l'IoU fournisse des informations précieuses, il est important de noter qu'il présente certaines limites, telles que sa sensibilité à l'échelle de l'objet et à ses proportions. Cette sensibilité peut conduire à des résultats trompeurs, notamment pour des objets de formes et de tailles différentes.
Pour surmonter cette limitation, des variantes d'IoU ont été proposées, telles que GIoU (Generalized Intersection over Union) et DIoU (Distance Intersection over Union).
Ces variantes intègrent des informations géométriques supplémentaires pour fournir une évaluation plus robuste du chevauchement du cadre de délimitation, atténuant ainsi l'effet d'échelle et de rapport hauteur/largeur.
