Segmentation d'images assistée par IA à l'aide de modèles fondamentaux SAM

Presentation en français par Daniel Sage

responsable du groupe de développement logiciel en imagerie biomédicale à EPFL à Lausanne.

Segmentation d'images assistée par IA à l'aide de modèles fondamentaux (SAM)

Le modèle récemment lancé Segment-Anything Model (SAM, Meta AI Research, 2023) est présenté comme un outil de segmentation d'images universel capable de réaliser une généralisation en zero-shot sur des objets non vus dans des images naturelles. À l'instar de ChatGPT, SAM est étonnamment polyvalent pour délimiter des objets à partir des instructions de l'utilisateur. De nombreuses variantes de SAM, avec une efficacité variable, ont été intégrées dans des logiciels conviviaux, certains spécifiquement adaptés à des domaines comme les Système d'Information Géographique, l'imagerie médicale et la microscopie. Cependant, son application en science nécessite une réflexion approfondie.
Après avoir introduit les mécanismes de codage de l'architecture Vision Transformer de SAM, nous présenterons ses cas d'utilisation, y compris la segmentation, la création de jeux de données et l'annotation assistée par l'utilisateur. Nous discuterons également des risques associés à une mauvaise utilisation de SAM pour extraire des informations visuelles fiables et reproductibles, ainsi que de ses limites avec les grandes images. Enfin, nous interrogerons la dépendance à des outils inutilement grands et inefficaces qui consomment beaucoup d'énergie pour la segmentation d'images.