Negin Ghamsarian est post-doctorante au AI in Medical Imaging lab au centre ARTORG pour la recherche en génie biomédical. Elle est convaincue que l'apprentissage profond auto-supervisé et semi-supervisé peut surmonter les limites actuelles de l'applicabilité des technologies d'IA à l'analyse des vidéos chirurgicales, afin de mieux prédire les complications postopératoires et de réaliser des interventions chirurgicales encore plus précises.
Texte : Monika Kugemann
Lire l'article original ici.
Negin, parle-nous de tes recherches.
Actuellement, je me concentre sur la manière de combler le fossé entre l'analyse d'images et de vidéos médicales en laboratoire et en conditions réelles. La disponibilité de données étiquetées (c'est-à-dire de données annotées) est un aspect important qui va de soi pour de nombreuses applications d'apprentissage en profondeur. Malgré les performances prometteuses des méthodes d'apprentissage profond supervisées pour de nombreuses tâches dans le domaine de la santé, telles que la reconnaissance des phases chirurgicales, la reconnaissance d'objets, la localisation et la segmentation sémantique, leurs performances dépendent fortement d'annotations appropriées. D'autre part, la diversité des appareils d'acquisition d'images et de vidéos et des conditions environnementales dans les hôpitaux ou les centres de santé peut entraîner un grand décalage de domaine entre différents ensembles de données et entraver la généralisation des réseaux entraînés. En d'autres termes, un réseau neuronal entraîné sur des images annotées d'un hôpital peut ne pas atteindre une performance acceptable lorsqu'il est évalué sur un ensemble de données d'un autre hôpital ou d'un autre appareil.
Les questions que je pose dans mes recherches sont donc les suivantes : comment réduire la dépendance aux annotations sans nuire aux performances des réseaux neuronaux ? Et : comment pouvons-nous utiliser les abondantes données non annotées pour combler les lacunes de l'analyse interbases ?
Les systèmes basés sur l'IA deviendront indispensables en chirurgie dans les années à venir.
Quel serait un exemple de cela ?
Prenons l'opération de la cataracte - l'opération des yeux la plus courante et une intervention très demandée dans le monde entier. Depuis mon doctorat, je travaille sur l'analyse DL de vidéos d'opérations de la cataracte. En travaillant en étroite collaboration interdisciplinaire avec des chirurgiens expérimentés, j'ai pu démontrer que l'apprentissage profond peut contribuer de manière significative à accélérer la formation chirurgicale et à améliorer les résultats chirurgicaux grâce à la détection de phase [1], la compression basée sur la pertinence [2], la détection des irrégularités peropératoires et la prédiction des complications postopératoires [3], ainsi que la compréhension de la scène chirurgicale [4-5].
Chacune de ces tâches nécessite un niveau d'annotation spécifique, allant de l'image au niveau des pixels en passant par la région. Comme la gamme de vidéos prises par différents appareils et dans différents hôpitaux est assez large, les réseaux formés peuvent fournir des performances satisfaisantes principalement pour les vidéos prises par le même appareil et le même hôpital. La mise à disposition de nouvelles annotations pour chaque nouvel ensemble de données est coûteuse en temps et en argent, en particulier dans le domaine médical, où l'expertise est cruciale. C'est actuellement le goulot d'étranglement de l'analyse d'images médicales basée sur l'apprentissage profond. Alors que la fourniture de commentaires appropriés est un défi, les hôpitaux et les centres de santé regorgent d'images et de vidéos non annotées, et l'utilisabilité de telles données pour améliorer les soins de santé est sous-estimée.
L'apprentissage semi-supervisé, l'apprentissage auto-supervisé et l'adaptation du domaine avec différentes stratégies telles que la pseudo-supervision, la régulation de la cohérence et l'apprentissage contrastif sont des moyens de résoudre ce problème. Dans la phase actuelle de ma recherche, je développe des techniques d'apprentissage semi-supervisé et d'adaptation de domaine adaptées aux caractéristiques inhérentes des vidéos chirurgicales et des images volumétriques telles que l'OCT et l'IRM, afin de réduire les exigences d'annotation pour une segmentation sémantique fiable dans ces domaines [6].
Un facteur clé pour l'applicabilité du deep learning en médecine est la réduction de la dépendance aux annotations.
Tu as étudié en Iran et en Autriche. Comment te sens-tu à Berne ?
L'Université de Berne est parfaitement reliée à l'Hôpital de l'Île, ce qui crée un environnement interdisciplinaire idéal pour les chercheurs dans le domaine de l'IA médicale. L'accès aux données médicales et le retour d'information des médecins et des chirurgiens sont des éléments essentiels pour une recherche sérieuse dans ce domaine, et l'université offre de nombreuses opportunités pour les deux. En outre, le laboratoire AIMI dispose d'une infrastructure matérielle de premier ordre qui permet des évaluations à grande échelle basées sur l'apprentissage profond, indispensables à la recherche de pointe. En plus de ces avantages académiques, l'Université de Berne offre un environnement vivant et multiculturel pour le développement professionnel.
C'est aussi une grande chance pour moi d'être membre du CAIM et de travailler avec une équipe d'informaticiens et de techniciens médicaux. Cela me permet d'échanger des idées avec d'autres chercheurs dans mon domaine, de recevoir un feedback sur mon travail et d'apprendre de leur expertise.
Qu'est-ce qui te motive ?
J'ai toujours été fasciné par l'interface entre l'intelligence artificielle et la médecine, un domaine dans lequel l'IA peut être utile et non destructrice. Le développement de nouvelles méthodes pour résoudre des problèmes médicaux complexes est extrêmement gratifiant, car il peut contribuer au progrès des soins de santé et avoir un impact positif sur le bien-être des patients. Le deep learning peut révolutionner notre approche des diagnostics médicaux et des interventions chirurgicales, et c'est ce qui me motive à faire le pas supplémentaire.
Quelle sera l'importance de l'IA en chirurgie à l'avenir ?
Grâce aux progrès technologiques dans le domaine de la chirurgie, les salles d'opération évoluent vers des environnements intelligents. Les systèmes contextuels seront des composants essentiels de cette évolution. Ils peuvent améliorer la planification chirurgicale préopératoire, fournir une évaluation automatique de la difficulté, soutenir la planification en salle d'opération et interpréter le contexte chirurgical de manière globale.
Grâce aux alertes en temps réel et aux aides à la décision intégrées, ils seront particulièrement utiles aux chirurgiens moins expérimentés. Leurs possibilités vont jusqu'à l'analyse automatique de vidéos d'opérations et comprennent des fonctions telles que l'indexation, la documentation et la création de rapports postopératoires.
Les systèmes basés sur l'IA deviendront indispensables en chirurgie dans les années à venir. En surmontant les restrictions actuelles en matière d'analyse d'images et de vidéos médicales basées sur l'IA, le diagnostic et la chirurgie assistés par ordinateur seront considérablement facilités dans un avenir prévisible.
À PROPOS DE LA PERSONNE
Negin Ghamsarian est titulaire d'un M.Sc. en électrotechnique et d'un Ph.D. en informatique. Pendant ses études de doctorat à l'université de Klagenfurt (Autriche), elle a effectué des recherches approfondies sur le thème "Deep-learning-assisted Analysis of Cataract Surgery Videos". Sa thèse couvre un large éventail de sujets, notamment les méthodes d'apprentissage en profondeur supervisées, semi-supervisées et auto-supervisées pour améliorer la qualité des images, la détection des actions vidéo, la reconnaissance des objets et la segmentation sémantique pour les vidéos chirurgicales.
Image : zvg
PUBLICATIONS
[1] Ghamsarian, N., Taschwer, M., Putzgruber-Adamitsch, D., Sarny, S. et Schoeffmann, K., 2021, janvier. Détection de la pertinence dans les vidéos de chirurgie de la cataracte par la localisation spatio-temporelle de l'action. Dans 2020 25e Conférence internationale sur la reconnaissance des formes (ICPR) (pp. 10720-10727). IEEE.
[2] Ghamsarian, N., Amirpourazarian, H., Timmerer, C., Taschwer, M. and Schöffmann, K., 2020, Octobre. Compression basée sur la pertinence des vidéos de chirurgie de la cataracte à l'aide de réseaux neuronaux convolutionnels. Dans Actes de la 28e Conférence internationale ACM sur le multimédia (pp. 3577-3585).
[3] Ghamsarian, N., Taschwer, M., Putzgruber-Adamitsch, D., Sarny, S., El-Shabrawi, Y. et Schoeffmann, K., 2021. LensID : a CNN-RNN-based framework towards lens irregularity detection in cataract surgery videos. Dans Medical Image Computing and Computer Assisted Intervention-MICCAI 2021 : 24th International Conference, Strasbourg, France, September 27-October 1, 2021, Proceedings, Part VIII 24 (pp. 76-86). Springer International Publishing.
[4] Ghamsarian, N., Taschwer, M., Putzgruber-Adamitsch, D., Sarny, S., El-Shabrawi, Y. and Schöffmann, K., 2021. ReCal-Net : Joint Region-Channel-Wise Calibrated Network for Semantic Segmentation in Cataract Surgery Vidéos. Dans Traitement de l'information neuronale : 28e conférence internationale, ICONIP 2021, Sanur, Bali, Indonésie, 8-12 décembre 2021, actes, partie III 28 (pp. 391-402). Springer International Publishing.
[5] Ghamsarian, N., Taschwer, M., Sznitman, R. and Schoeffmann, K., 2022, septembre. DeepPyramid : Enabling Pyramid View and Deformable Pyramid Reception for Semantic Segmentation in Cataract Surgery Videos. Dans Conférence internationale sur l'imagerie médicale et l'intervention assistée par ordinateur (pp. 276-286). Cham : Springer Nature Switzerland.
[6] Ghamsarian, N., Tejero, J.G., Neila, P.M., Wolf, S., Zinkernagel, M., Schoeffmann, K. and Sznitman, R., 2023. Adaptation de domaine pour la segmentation d'images médicales à l'aide d'un auto-entraînement à la transformation et à l'invariance. arXiv preprint arXiv:2307.16660.