Negin Ghamsarian ist Postdoktorandin am AI in Medical Imaging lab am ARTORG Center for Biomedical Engineering Research. Sie ist überzeugt, dass selbstüberwachtes und halbüberwachtes Deep Learning die derzeitigen Einschränkungen der Anwendbarkeit von KI-Technologien für die Analyse chirurgischer Videos überwinden kann, damit postoperative Komplikationen besser vorhergesagt und chirurgische Eingriffe noch präziser ausgeführt werden können.
Text: Monika Kugemann
Lesen Sie den originalen Artikel hier.
Negin, erzähl uns etwas über deine Forschung.
Derzeit konzentriere ich mich auf die Überbrückung der Kluft zwischen Deep-Learning-gestützter medizinischer Bild- und Videoanalyse im Labor und unter realen Bedingungen. Ein wichtiger Aspekt, der bei vielen Deep-Learning- Anwendungen als selbstverständlich vorausgesetzt wird, ist die Verfügbarkeit gelabelter Daten (also Daten mit Annotationen). Trotz der vielversprechenden Leistung überwachter Deep-Learning-Methoden bei vielen Aufgaben im Gesundheitswesen, wie z. B. der Erkennung chirurgischer Phasen, der Objekterkennung, der Lokalisierung und der semantischen Segmentierung, hängt deren Leistung stark von passenden Annotationen ab. Andererseits können die unterschiedlichen Bild- und Videoerfassungsgeräte und Umgebungsbedingungen in Spitälern oder Gesundheitszentren zu einer grossen Domänenverschiebung zwischen verschiedenen Datensätzen führen und die Verallgemeinerbarkeit der trainierten Netzwerke behindern. Mit anderen Worten: Ein neuronales Netzwerk, das auf annotierten Bildern eines Spitals trainiert wurde, erreicht möglicherweise keine akzeptable Leistung, wenn es auf einem Datensatz eines anderen Spitals oder Geräts bewertet wird.
Die Fragen, die ich in meiner Forschung stelle, lauten daher: Wie können wir die Abhängigkeit von Annotationen verringern, ohne die Leistung der neuronalen Netze zu beeinträchtigen? Und: Wie können wir die reichlich vorhandenen nicht annotierten Daten nutzen, um die Lücke in der datenbankübergreifenden Analyse zu schliessen?
KI-basierte Systeme werden in den kommenden Jahren in der Chirurgie unverzichtbar werden.
Was wäre ein Beispiel hierfür?
Nehmen wir Katarakt-Operation – die am häufigsten durchgeführte Augenoperation und ein weltweit sehr gefragter Eingriff. Ich habe seit meiner Promotion an der DL-gestützten Analyse von Kataraktoperationsvideos gearbeitet. Durch die enge interdisziplinäre Zusammenarbeit mit erfahrenen Chirurg:innen konnte ich zeigen, dass Deep Learning erheblich dazu beitragen kann, die chirurgische Ausbildung zu beschleunigen und die chirurgischen Ergebnisse durch Phasenerkennung [1], relevanzbasierte Komprimierung [2], Erkennung von intraoperativen Unregelmäßigkeiten und Vorhersage postoperativer Komplikationen [3] sowie Verständnis der chirurgischen Szene [4-5] zu verbessern.
Jede dieser Aufgaben erfordert eine bestimmte Annotationsebene, die vom Bild über die Region bis zur Pixelebene reicht. Da die Bandbreite von Videos, die von verschiedenen Geräten und in verschiedenen Spitälern aufgenommen wurden, recht gross ist, können die trainierten Netzwerke hauptsächlich für Videos vom selben Gerät und Spital eine zufriedenstellende Leistung erbringen. Die Bereitstellung neuer Annotationen für jeden neuen Datensatz ist zeit- und kostenaufwändig, insbesondere im medizinischen Bereich, wo Fachwissen entscheidend ist. Das ist aktuell der Engpass bei der Deep-Learning-basierten medizinischen Bildanalyse. Während die Bereitstellung angemessener Kommentare eine Herausforderung darstellt, gibt es in Spitälern und Gesundheitszentren eine Fülle von nicht beschrifteten Bildern und Videos, und die Verwendbarkeit solcher Daten zur Verbesserung der Gesundheitsversorgung wird unterschätzt.
Halbüberwachtes Lernen, selbstüberwachtes Lernen und Domänenanpassung mit verschiedenen Strategien wie Pseudo-Supervision, Konsistenzregulierung und kontrastivem Lernen sind Möglichkeiten, dieses Problem zu lösen. In der aktuellen Phase meiner Forschung entwickle ich halbüberwachte Lern- und Domänenanpassungstechniken, die auf die inhärenten Merkmale von chirurgischen Videos und volumetrischen Bildern wie OCT und MRT zugeschnitten sind, um die Annotationsanforderungen für eine zuverlässige semantische Segmentierung in diesen Domänen zu reduzieren [6].
Ein Schlüsselfaktor für die Anwendbarkeit von Deep Learning in der Medizin ist die Verringerung der Abhängigkeit von Annotationen.
Du hast im Iran und in Österreich studiert. Wie gefällt es dir in Bern?
Die Universität Bern ist hervorragend mit dem Inselspital vernetzt, was ein ideales interdisziplinäres Umfeld für Forschende im Bereich KI für die Medizin schafft. Der Zugang zu medizinischen Datensätzen und das Feedback von Ärzt:innen und Chirurg:innen sind entscheidende Komponenten einer seriösen Forschung in diesem Bereich, und die Universität bietet reichlich Gelegenheit für beides. Darüber hinaus verfügt das AIMI-Labor über eine erstklassige Hardware-Infrastruktur, die gross angelegte Deep-Learning-basierte Auswertungen ermöglicht, die für die Spitzenforschung unerlässlich sind. Neben diesen akademischen Vorteilen bietet die Universität Bern ein lebendiges, multikulturelles Umfeld für die berufliche Entwicklung.
Es ist eine ausserdem grosse Chance für mich, Mitglied des CAIM zu sein und mit einem Team von Informatiker:innen und Medizintechniker:innen zusammenzuarbeiten. Das bietet mir die Möglichkeit, mit anderen Forschenden auf meinem Gebiet Ideen auszutauschen, Feedback zu meiner Arbeit zu erhalten und von ihrem Fachwissen zu lernen.
Was motiviert dich?
Ich war schon immer von der Schnittstelle zwischen künstlicher Intelligenz und Medizin fasziniert, einem Bereich, in dem KI nützlich und nicht destruktiv sein kann. Die Entwicklung neuartiger Methoden zur Bewältigung komplexer medizinischer Probleme ist äusserst lohnend, da sie zu Fortschritten im Gesundheitswesen beitragen und sich positiv auf das Wohlbefinden der Patient:innen auswirken kann. Deep Learning kann unsere Herangehensweise an medizinische Diagnosen und chirurgische Eingriffe revolutionieren, und das ist der Motor, der mich motiviert, die Extrameile zu gehen.
Wie wichtig wird KI in der Chirurgie in Zukunft sein?
Dank des technologischen Fortschritts in der Chirurgie entwickeln sich die Operationssäle zu intelligenten Umgebungen. Kontextbezogene Systeme werden zentrale Komponenten dieser Entwicklung sein. Sie können die präoperative Operationsplanung verbessern, eine automatische Schwierigkeitsbeurteilung bieten, die Planung im Operationssaal unterstützen und den chirurgischen Kontext umfassend interpretieren.
Durch eingebaute Echtzeitwarnungen und Entscheidungshilfen werden sie besonders für weniger erfahrene Chirurg:innen von grossem Wert sein. Ihre Möglichkeiten reichen bis zur automatischen Analyse von Operationsvideos und umfassen Funktionen wie Indexierung, Dokumentation und Erstellung von postoperativen Berichten.
KI-basierte Systeme werden in den kommenden Jahren in der Chirurgie unverzichtbar werden. Durch die Überwindung der bestehenden Einschränkungen bei der KI-gestützten medizinischen Bild- und Videoanalyse wird die computergestützte Diagnose und Chirurgie in absehbarer Zeit erheblich erleichtert.
ZUR PERSON
Negin Ghamsarian hat einen M.Sc. in Elektrotechnik und einen Ph.D. in Informatik. Während ihres Ph.D.-Studiums an der Universität Klagenfurt (Österreich) forschte sie ausführlich zum Thema "Deep-learning-assisted Analysis of Cataract Surgery Videos". Ihre Dissertation deckt ein breites Spektrum an Themen ab, darunter überwachte, halbüberwachte und selbstüberwachte Deep-Learning-Methoden zur Verbesserung der Bildqualität, Videoaktionserkennung, Objekterkennung und semantischen Segmentierung für chirurgische Videos.
Bild: zvg
PUBLIKATIONEN
[1] Ghamsarian, N., Taschwer, M., Putzgruber-Adamitsch, D., Sarny, S. and Schoeffmann, K., 2021, January. Relevance detection in cataract surgery videos by spatio-temporal action localization. In 2020 25th International Conference on Pattern Recognition (ICPR) (pp. 10720-10727). IEEE.
[2] Ghamsarian, N., Amirpourazarian, H., Timmerer, C., Taschwer, M. and Schöffmann, K., 2020, October. Relevance-based compression of cataract surgery videos using convolutional neural networks. In Proceedings of the 28th ACM International Conference on Multimedia (pp. 3577-3585).
[3] Ghamsarian, N., Taschwer, M., Putzgruber-Adamitsch, D., Sarny, S., El-Shabrawi, Y. and Schoeffmann, K., 2021. LensID: a CNN-RNN-based framework towards lens irregularity detection in cataract surgery videos. In Medical Image Computing and Computer Assisted Intervention–MICCAI 2021: 24th International Conference, Strasbourg, France, September 27–October 1, 2021, Proceedings, Part VIII 24 (pp. 76-86). Springer International Publishing.
[4] Ghamsarian, N., Taschwer, M., Putzgruber-Adamitsch, D., Sarny, S., El-Shabrawi, Y. and Schöffmann, K., 2021. ReCal-Net: Joint Region-Channel-Wise Calibrated Network for Semantic Segmentation in Cataract Surgery Videos. In Neural Information Processing: 28th International Conference, ICONIP 2021, Sanur, Bali, Indonesia, December 8–12, 2021, Proceedings, Part III 28 (pp. 391-402). Springer International Publishing.
[5] Ghamsarian, N., Taschwer, M., Sznitman, R. and Schoeffmann, K., 2022, September. DeepPyramid: Enabling Pyramid View and Deformable Pyramid Reception for Semantic Segmentation in Cataract Surgery Videos. In International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 276-286). Cham: Springer Nature Switzerland.
[6] Ghamsarian, N., Tejero, J.G., Neila, P.M., Wolf, S., Zinkernagel, M., Schoeffmann, K. and Sznitman, R., 2023. Domain Adaptation for Medical Image Segmentation using Transformation-Invariant Self-Training. arXiv preprint arXiv:2307.16660.