Die minimalinvasive Chirurgie stellt hohe Anforderungen an die Kameraführung, die bislang in der Regel von Assistenzpersonal übernommen wird. Angesichts des zunehmenden Fachkräftemangels und der steigenden Komplexität chirurgischer Eingriffe besteht ein dringender Bedarf an intelligenten Assistenzsystemen, die den Operateur entlasten und gleichzeitig eine stabile Sicht auf das Operationsfeld gewährleisten. Aktuell verfügbare Assistenzsysteme ermöglichen zwar eine Stabilisierung des Bildes, verlagern aber zusätzliche Aufgaben zum Operateur.
Ziel des Projekts DeepMIC war die Entwicklung eines KI-basierten, (teil-)autonomen Assistenzsystems zur Endoskopnachführung. Diese soll eine situationsadaptive, intuitive und sichere Kameraführung ermöglichen, die sich durch hohe Robustheit und eine enge Interaktion mit dem Chirurgen auszeichnet.
rechts: Demonstrator (Quelle: AKTORmed GmbH)
Nach einer umfassenden Anforderungsanalyse und der Erstellung einer annotierten Videodatenbank wurden Deep-Learning-Algorithmen für die Erkennung von Instrumenten im endoskopischen Bild trainiert. Parallel entstanden Workflowmodelle für Standardprozeduren sowie eine ergänzende sprachbasierte Steuerung mit Natural Language Understanding. Im weiteren Verlauf wurden zwei Demonstratoren aufgebaut, die die autonome Nachführung der Kamera mithilfe einer modifizierten und funktional erweiterten Variante des SOLOASSIST demonstrieren. Der Gesamtansatz wurde in vitro sowie präklinisch erfolgreich getestet.
DeepMIC erreichte sein Ziel vollständig: Die Demonstratoren zeigten eine autonome Endoskopnachführung mit robuster Instrumentenerkennung und Sprachsteuerung. Das Projekt bildet die Grundlage für die nächste Generation des SOLOASSIST und eröffnet neue Perspektiven für Forschung, klinische Anwendung und Ausbildung.
