Bienvenue dans la deuxième partie de notre série d'articles sur les MLOps, pour ceux qui n'ont pas eu la chance de consulter le premier article, le voici !
Dans cette deuxième partie, nous allons passer en revue les niveaux 1 et 2 de MLOps, ce que cela signifie et ce que vous devez faire pour les atteindre.
Flux MLOps
MLOps Niveau 1
Maintenant que nous avons un peu évolué et atteint le niveau 1 des MLOps, voyons ce qui caractérise notre architecture et la rend différente du niveau 0.
Tout d'abord, une amélioration significative est que l'ensemble de notre pipeline d'expériences a été automatisé. Les ressources ne sont plus gérées manuellement, les expériences peuvent être entraînées par un appel à l'API, tout est normalisé et tous les artefacts créés à partir des exécutions sont stockés automatiquement. Si vous poussez plus loin, vous pouvez même parvenir à automatiser le réglage des hyperparamètres, ce qui peut faire une énorme différence dans l'exhaustivité de vos études scientifiques.
La deuxième amélioration substantielle est que les modèles sont automatiquement formés avec les nouvelles données qui arrivent du monde réel (extraites des capteurs, de vos clients, de l'API ou de toute autre méthode de collecte que vous avez mise en place). Cela signifie que vous pouvez toujours être sûr que vos modèles sont à jour.
Mais cela signifie également que les scientifiques et ingénieurs en données doivent surveiller de près les modèles déployés et les données sur lesquelles ils sont formés, afin d'éviter que les modèles ne changent de manière indésirable. Pour ce faire, et pour pouvoir déboguer rapidement, vous devez avoir des similitudes entre votre environnement d'expérimentation et votre environnement de production, ce qui nous amène au point suivant : vous devez utiliser ou créer des composants standardisés et réutilisables (souvent des conteneurs Docker).
Vos modèles sont désormais livrés en continu, ils doivent être validés, mais il n'y a plus de copier/coller manuel ou de téléchargement pour déployer de nouveaux modèles. Donc maintenant, au lieu de maintenir uniquement le modèle, vous devez également maintenir l'ensemble du pipeline, écrire des tests et surveiller, ce qui est un processus complexe et explique pourquoi seules quelques personnes parviennent à franchir toutes ces étapes.
La bonne nouvelle est que notre système peut désormais s'adapter aux données continues du monde réel, ce qui nous permet de maintenir correctement un pipeline à modèle unique. Cependant, travailler avec un grand nombre de pipelines pour différents clients, par exemple, demanderait beaucoup d'efforts puisque les pipelines sont exploités manuellement.
MLOps Niveau 2
Le niveau 2 va un peu plus loin en termes de ce que nous pouvons faire et du type de système que nous sommes désormais capables d'exploiter. J'entends par là les systèmes à grande échelle et à haute fréquence.
Les data scientists peuvent désormais se concentrer sur l'analyse des données et devenir centrés sur les données. Ils peuvent également passer plus de temps à tester de nouvelles techniques, de nouveaux algorithmes et de nouvelles analyses. Vous avez développé des outils pour emballer et conteneuriser leur code, de sorte que lorsqu'ils ont terminé, l'ensemble du pipeline est automatiquement testé et déployé. Cela signifie que nous avons réalisé une intégration et une livraison continues entièrement automatisées.
Les déclencheurs du renouvellement du pipeline sont multiples, car nous surveillons tout de plusieurs manières à différents stades. Chaque mesure surveillée peut déclencher le pipeline. Ou bien, tout peut être programmé, c'est vous qui décidez. Les quelques étapes manuelles qui restent obligatoires sont l'analyse des données et des erreurs pour s'assurer que les données de formation et les modèles répondent à nos normes élevées.
Maintenant que vous comprenez mieux chaque niveau de maturité MLOps, nous pouvons passer à l'action ! Ce sera le sujet du dernier article (mais pas le moindre) de notre série. Vous pouvez le lire ici même.
