En vision par ordinateur (CV), des données d’entraînement de haute qualité ne garantissent pas des modèles de production performants. Le vrai travail commence après le déploiement en production, lorsque les performances du modèle commencent à se détériorer en raison de plusieurs facteurs dont nous parlerons dans cet article.
Plus important encore, une perturbation des performances d’un modèle de vision par ordinateur déployé en production peut entraîner une perte commerciale directe. Une solution robuste de surveillance par vision par ordinateur vise à créer un système fiable capable de détecter tout problème sous-jacent et inaperçu auparavant afin de prévenir ou d'atténuer les problèmes de production.
La surveillance par vision par ordinateur est un élément crucial du Pipeline CVOps qui peut suivre les indicateurs clés, permettant aux fournisseurs de vision par ordinateur de prendre des décisions éclairées. Dans cet article, nous aborderons certaines des mesures clés à surveiller lors de la création de solutions de surveillance par vision par ordinateur.
Qu'est-ce qui pourrait briser votre modèle de vision par ordinateur ?
Les équipes CVOps peuvent surveiller et maintenir efficacement les modèles de CV en production. Cependant, les performances du modèle commencent à se dégrader juste après le déploiement, tout comme les autres produits du marché sont dévalués après leur fabrication.
Les modèles de vision par ordinateur sont dynamiques et sensibles aux changements dans la distribution des données. Le modèle sort de son contexte si une fonctionnalité de données de production devient indisponible ou si l'environnement réel pour lequel il a été conçu change.
La surveillance des différences dans les caractéristiques et le comportement d'un modèle avec les données les plus récentes est essentielle à la création de pipelines de CV robustes. Par conséquent, le suivi des modèles de CV avec plusieurs métriques et la génération d'alertes ou de notifications permettent de maintenir la pertinence et la fiabilité du modèle.
Indicateurs clés pour surveiller les solutions de vision par ordinateur
Les métriques mesurent et enregistrent les performances de divers processus métier. Les métriques de surveillance de la vision par ordinateur peuvent être divisées en catégories non supervisées et supervisées. Discutons-en ci-dessous.
Métriques de surveillance non supervisée
Les métriques de surveillance de vision par ordinateur non supervisées ne nécessitent pas la participation de l’utilisateur pour évaluer les performances du modèle. Chez Picsellia, nous calculons diverses mesures de surveillance de la vision par ordinateur non supervisées à l'aide de notre robuste plateforme CVOps pour aider les équipes d'IA à disséquer les modèles de CV et à identifier la dégradation des performances en temps réel.
Voici quelques-unes de ces métriques non supervisées à surveiller lors de la création de solutions de surveillance par vision par ordinateur :
- Largeur et hauteur de l'image d'entrée
- Distribution du rapport d'image
- Répartition de la zone d'image
- Temps d'inférence
- Score aberrant AE
- Dérive KS
Développons !
1. Saisissez la largeur et la hauteur de l'image
Les images d'entrée envoyées pour faire des prédictions peuvent avoir des orientations variables (largeur et hauteur) au fil du temps. Par exemple, les utilisateurs peuvent ajouter des images de portrait pendant la journée et des images horizontales la nuit.
Picsellia construit un graphique visualisant les largeurs et hauteurs des images envoyées par les utilisateurs. L'analyse de la différence dans les dimensions des images peut révéler des faits intéressants sur le comportement des utilisateurs et des données.
2. Distribution du rapport d'image
Le rapport d'image est la répartition de la largeur de l'image sur la hauteur. Picsellia divise les rapports d'image en six intervalles. Ces six intervalles sont carrés, hauts, très hauts, larges, très larges et extrêmement larges. En fonction de la valeur du rapport d'image, les six intervalles sont seuillés à différentes valeurs pour les séparer sur un histogramme.
3. Répartition de la zone d'image
La distribution de la zone d'image est une mesure importante pour définir la zone couverte par plusieurs images d'entrée, ce qui facilite la validation rapide des images. Il est suivi à l'aide d'un histogramme de distribution de zone pour plusieurs images.
4. Temps d'inférence
Le temps d'inférence du modèle calcule le temps nécessaire pour traiter de nouvelles données et faire des prédictions. Le temps d'inférence est calculé lors de l'étape de post-traitement du développement du modèle et donne un aperçu de la latence globale du modèle CV pendant l'inférence.
5. Score aberrant AE
La valeur aberrante est la valeur des données différente du reste des points de données. Les modèles ne peuvent pas faire de prédictions précises en présence de valeurs aberrantes, ce qui rend nécessaire leur suivi, notamment en production.
Picsellia utilise un algorithme d'encodeur automatique pour déterminer les images aberrantes à partir de l'ensemble de données de production en reconstruisant les images à l'aide d'un réseau neuronal convolutif (CNN) et attribue un score aberrant à chaque image en fonction de l'erreur de reconstruction d'image. Une valeur plus élevée du score aberrant représente une image aberrante.
6. Dérive KS
Supposons qu'au moins une fonctionnalité de données importante ne soit plus disponible dans la même mesure dans l'ensemble de données de production. Dans ce cas, l’ensemble de production est considéré comme ayant dérivé de l’ensemble de données de formation.
La dérive de Kolmogorov Smirnov (KS) suppose que les fonctions de distribution de caractéristiques pour les ensembles de données de production et de formation sont égales. Cependant, si la dérive KS calcule une plus grande distance de distribution entre deux entités, l'ensemble de données concerné est considéré comme ayant dérivé.
Picsellia suit la dérive sur une longue période pour classer les dérives comme soudaines, incrémentielles ou récurrentes. Après avoir classé le type de dérive, l'ensemble de données concerné peut être modifié.
Mesures de surveillance supervisée
Les métriques de surveillance supervisée de la vision par ordinateur nécessitent la contribution de l’utilisateur pour mesurer les performances du modèle. Cela nécessite généralement une vérification manuelle des données de production réelles pour observer tout changement drastique pouvant entraîner une dégradation des performances des modèles CV. Voici quelques-unes des mesures de surveillance supervisée :
- Dérive des données
- Dérive conceptuelle
- Changement de domaine
- Dérive des prédictions
- Dérive vers l'amont
Discutons-en en détail.
Dérive des données
Dérive des données Cela se produit lorsque le modèle de vision par ordinateur est formé sur des images différentes des données du monde réel fournies en production. Cela indique le changement dans la distribution des ensembles de production et la distribution des données de formation, ce qui donne lieu à un modèle sous-performant. Certaines méthodes courantes pour mesurer la distance entre ces distributions sont :
- Distance de Wasserstein
- Kullback — Divergence de Leibler (divergence KL)
- Indice de stabilité de la population (PSI)
Les variations horaires ou saisonnières peuvent également entraîner une dérive des données. Par exemple, un ensemble de données sur les routes construites en Asie sera très différent de celui des routes en Europe. De même, les relevés des capteurs IoT peuvent varier en été comme en hiver, entraînant une dérive des données.
Dérive conceptuelle
La dérive conceptuelle se produit lorsque les modèles sur lesquels le modèle a été formé ne sont plus valables et que la relation entre les paramètres d'entrée et de sortie change. Le modèle devient moins précis ou obsolète.
La dérive conceptuelle peut être progressive, le modèle vieillissant sans s'adapter aux exigences changeantes. Il peut y avoir une dérive soudaine lorsque les modèles se modifient, comme par exemple des changements soudains de la demande des consommateurs pendant les confinements pandémiques ou une dérive récurrente influencée par les changements saisonniers pendant les vacances ou les événements festifs.
La surveillance des solutions de vision par ordinateur pour détecter la dérive des concepts peut aider à mieux comprendre le modèle en vue d'une mise à niveau afin de garantir l'exactitude et la pertinence dans le monde réel.
Changement de domaine
Le changement de domaine, également appelé changement de distribution, se produit lorsque les données de formation, de validation et de test sont sélectionnées à partir d'une distribution de probabilité différente de la distribution des données de production.
Le changement de domaine est difficile à détecter et peut entraîner une détérioration des performances des modèles en production. Son impact peut être observé sur les prédictions hors échantillon, qui peuvent être minimisées en sélectionnant soigneusement les échantillons de test.
Dérive des prédictions
La dérive de prédiction, également connue sous le nom de dérive de modèle, surveille la différence entre les prédictions du modèle sur une période donnée. Il reflète le changement de prédiction de l'ensemble de données de production par rapport à l'ensemble de formation.
Idéalement, si le modèle de production reste inchangé, il devrait produire une inférence similaire en obtenant les mêmes intrants. Cependant, les modèles se dégradent avec le temps et font des prédictions inexactes. Il est essentiel de diagnostiquer la dérive des prédictions avant qu’elle n’ait un impact négatif sur les clients ou les objectifs commerciaux.
Dérive vers l'amont
La dérive en amont, également connue sous le nom de dérive des données opérationnelles, indique des changements dans le pipeline de données du modèle. Un ensemble de production peut contenir des images d'entrée mal classées ou mal étiquetées, présentant des différences significatives par rapport à l'ensemble de formation.
Les problèmes de dérive des données opérationnelles ne sont pas très évidents. Cela peut se produire en raison de modifications des caractéristiques des données ou de l'apparition de valeurs manquantes, affectant négativement les performances du modèle de production.
Rationalisez la surveillance des modèles de vision par ordinateur en production
Les modèles de vision par ordinateur se dégradent avec le temps et nécessitent des mises à niveau continues en temps réel. Les problèmes de données sous-jacents courants peuvent affaiblir et même interrompre les pipelines de modèles de CV formés. Par conséquent, il est important de créer des solutions de surveillance de vision par ordinateur et de suivre en permanence les principaux indicateurs de surveillance de vision par ordinateur.
Picsellia propose la détection et l'atténuation de tous ces problèmes en un seul plateforme CVOps de bout en bout. Il fournit des métriques supervisées et non supervisées pour faciliter la surveillance et automatise la boucle de rétroaction afin qu'aucune dérive de données ne passe inaperçue.
Si vous souhaitez exploiter gratuitement la plateforme CVOps de Picsellia, réservez votre essai aujourd'hui! Jusqu'à la prochaine fois! 👋
