Logo Die Sachsen News

"Niemand sollte der KI blind folgen"

Porträt des Mediziners und KI-Forschers Prof. Jakob Nikolas Kather.
Prof. Jakob Nikolas Kather erforscht, wie künstliche Intelligenz in der Medizin eingesetzt werden kann. Er sieht darin große Chancen, warnt aber davor, KI blind zu vertrauen. © Anja Stübner/EKFZ
KI beantwortet medizinische Fragen und erkennt sogar eine Krebserkrankung. Der Mediziner Jakob Nikolas Kather erklärt, warum für ihn trotzdem der Arzt die Verantwortung trägt.

Künstliche Intelligenz wird die Medizin in den kommenden Jahren tiefgreifend verändern, davon ist Prof. Jakob Nikolas Kather überzeugt. Der Mediziner und KI-Forscher am Else Kröner Fresenius Zentrum für Digitale Gesundheit der TU Dresden spricht im Interview über moderne Krebsdiagnostik und Chatbots im Behandlungszimmer. Er erklärt aber auch, wo die Technik an Grenzen stößt und was passiert, wenn sie falsch liegt. 

Professor Kather, wenn Sie alles gegeneinander abwägen, was Sie heute über künstliche Intelligenz wissen: Macht Ihnen die Entwicklung mehr Hoffnung oder mehr Sorgen?
Mehr Hoffnung, ganz klar. Gerade in der Medizin und Biologie gibt es viele ungelöste Probleme und gleichzeitig gute Anhaltspunkte dafür, dass KI uns helfen kann. Sie kann Durchbrüche in der medizinischen Forschung und Praxis ermöglichen und tut das teilweise schon heute. Aus meiner Sicht sollten wir diese Entwicklung nicht verlangsamen, sondern mit Vollgas weitermachen.

Gibt es heute schon medizinische Aufgaben, bei denen Sie einer KI genauso viel oder sogar mehr zutrauen als einem Menschen?
Ja. Es gibt zum einen spezialisierte KI-Systeme für einzelne Aufgaben, etwa die Brustkrebserkennung auf Mammografie-Aufnahmen. Sie können heute das Niveau menschlicher Experten erreichen und sind teilweise bereits als Medizinprodukte zugelassen. Andererseits gibt es große Sprachmodelle und Chatbots. Die sind bei vielen medizinischen Fragestellungen inzwischen auf Expertenniveau, selbst bei seltenen Erkrankungen. Deshalb nutzen sie schon heute viele Patienten und Ärzte.

Sie erforschen selbst den Einsatz von KI bei Krebs. Was kann eine KI auf medizinischen Bildern erkennen, was Ärzte möglicherweise nicht sehen?
In meiner Arbeitsgruppe haben wir KI-Systeme entwickelt, die radiologische Bilder und Gewebebilder von Darmkrebs auswerten. Sie können daraus nicht nur eine Diagnose ableiten, sondern auch vorhersagen, welche genetischen Veränderungen im Tumor vorliegen und welches Medikament geeignet sein könnte. Die KI erkennt dafür Merkmale, die für Menschen nur sehr schwer oder fast gar nicht sichtbar sind.

Ist das schon im Klinikalltag angekommen?
Unsere Systeme sind noch nicht in der Routineanwendung. Mehrere Unternehmen entwickeln solche Ansätze derzeit zu Medizinprodukten weiter. Von der Forschung bis zur breiten Anwendung ist es allerdings ein jahrelanger Prozess.

Muss ein Arzt denn künftig verstehen können, warum eine KI zu einem bestimmten Ergebnis gekommen ist? Oder reicht der Nachweis, dass sie funktioniert?

Ein Grundverständnis davon, wie die Methode funktioniert, ist wichtig. Noch wichtiger ist aber der Nachweis, dass sie zuverlässig arbeitet. Ein Arzt muss auch keinen Röntgenapparat bauen können. Entscheidend ist, dass das Gerät sicher und zugelassen ist und valide Ergebnisse liefert. KI ist da keine Ausnahme.

Sie haben untersucht, wie KI und insbesondere Sprachmodelle bereits im medizinischen Alltag genutzt werden. Ist die Realität der Regulierung davongelaufen?

Ja, so kann man das sagen. Bei spezialisierten KI-Systemen, etwa zur Brustkrebserkennung, funktioniert der klassische Zulassungsprozess grundsätzlich gut. Bei Chatbots passen die bisherigen regulatorischen Rahmenbedingungen dagegen nicht unbedingt. Da sehe ich Handlungsbedarf. Ein solches System wurde ja nicht für genau eine Anwendung entwickelt. Derselbe Chatbot kann nach einem Kochrezept oder wegen eines anhaltenden Hustens gefragt werden. Sehr viele Menschen nutzen solche Systeme bereits. Man kann das nicht einfach verbieten. Deshalb müssen wir Patienten und Kollegen vermitteln, wann man ihnen vertrauen kann und wann nicht. Denn es kann natürlich auch schiefgehen und Schaden entstehen.


Kather und sein Team untersuchen einen Gewebeschnitt. KI kann in solchen Bildern Muster eines Tumors erkennen, die für Menschen nur schwer sichtbar sind. © Anja Stübner/EKFZ

Sie hätten also kein Problem damit, wenn Ihr Arzt während einer Behandlung sagt: Ich frage dazu mal den Chatbot?
Nein. Ich würde mir von meinem Arzt wünschen, dass er solche Werkzeuge sinnvoll einsetzen kann. Vor einem Arztbesuch hätte ich das Thema wahrscheinlich selbst schon in ein Sprachmodell eingegeben. Wir akzeptieren ja auch, wenn ein Arzt sagt: Das muss ich im Lehrbuch nachschauen. Heute kann an die Stelle des Lehrbuchs auch ein Chatbot treten. Aber ich möchte natürlich keinen Arzt, der einfach jede Frage in einen Chatbot eingibt und anschließend die Antwort vorliest.

Gab es bei Ihrer eigenen Arbeit Momente, in denen Sie überrascht waren, was KI inzwischen kann?

Ja. Wir nutzen KI inzwischen stark als Werkzeug, etwa bei der Softwareentwicklung. Vor einem Jahr haben wir noch jede Zeile Code selbst geschrieben. Mittlerweile stammen 99 Prozent von der KI. Wir steuern den Prozess, überprüfen das Ergebnis und tragen dafür die Verantwortung. Das hat unsere wissenschaftliche Produktivität extrem erhöht. Projekte, die früher sechs Monate gedauert hätten, schaffen wir heute teilweise in zwei Wochen. KI hat unsere Arbeit komplett verändert.

Erleben Sie auch Fälle, in denen die KI nicht das tut, was Sie erwarten?
Natürlich. Wir erleben durchaus Situationen, in denen ein KI-System vom Weg abkommt und etwas macht, was wir nicht wollten. Deshalb lassen wir solche Systeme nur in Umgebungen arbeiten, in denen dadurch kein Schaden entstehen kann. Und wir achten darauf, dass niemals Patientendaten oder andere sensible Daten in irgendeiner Cloud landen.

Sie haben in der Vergangenheit schon darüber gesprochen, wie schwierig es in Deutschland ist, an Daten für die medizinische KI-Forschung zu kommen. Hat sich die Situation verbessert?
Nein. Das ist in Deutschland weiterhin ein Hauptproblem. In vielen Kliniken läuft veraltete Software. Daten lassen sich deshalb nur schwer zusammenführen und häufig fehlt die notwendige Infrastruktur. Hinzu kommen lange rechtliche Prüfungen. Europäische und deutsche Rechtsgrundlagen überlappen teilweise oder werden unterschiedlich ausgelegt. Wir brauchen deshalb sowohl eine modernere Infrastruktur als auch einfachere rechtliche Verfahren.

Könnten wir eine bessere Medizin bekommen, wenn wir beim Umgang mit Gesundheitsdaten pragmatischer wären?
Ja. Dabei geht es nicht darum, auf Datenhoheit zu verzichten. Wir sollten uns an alle Gesetze halten, aber pragmatischer vorgehen. Andere europäische Länder zeigen, dass das möglich ist. Spanien beispielsweise hat ein deutlich digitaleres Gesundheitssystem, obwohl dort ebenfalls die europäischen Regeln gelten. Deutschland hat zusätzlich strukturelle Probleme: viele Krankenhäuser und Krankenkassen, eine starke Fragmentierung und zahlreiche Hemmnisse beim Datenfluss. Diese Strukturen sind auch für den Einsatz von KI ein großes Hindernis.

Sie haben mit ihrem Team untersucht, wie große Sprachmodelle direkt in Kliniken betrieben werden könnten. Was ist der Vorteil einer solchen lokalen KI?
In unserer aktuellen Studie haben wir große Sprachmodelle auf eigenen Servern laufen lassen. Dadurch verlassen die Daten das Klinikum nicht. Wir konnten zeigen, dass sich solche Systeme auch so sinnvoll einsetzen lassen, beispielsweise um komplexe Prozesse im Krankenhaus zu automatisieren. Ich halte das für eine sinnvolle Strategie für die Zukunft. Die Kliniken müssen dafür allerdings in die entsprechende Infrastruktur investieren.

Das löst aber noch nicht das Problem, dass ein Sprachmodell eine falsche Antwort genauso überzeugend formulieren kann wie eine richtige.
Genau. Wir haben deshalb eine neue Methode entwickelt, mit der sich die Unsicherheit einer Antwort quantifizieren lässt. Dabei haben wir gesehen: Zeigte das KI-System eine hohe Unsicherheit, war sein Ergebnis auch häufig falsch. Für die Praxis könnte das bedeuten, dass wir einer Antwort nur vertrauen, wenn das System eine hohe Sicherheit anzeigt. Ist es unsicher, müssen wir besonders vorsichtig sein. Wir haben erstmals gezeigt, dass sich dieses Problem auf diese Weise angehen lässt.

Was passiert, wenn ein Arzt einer KI vertraut und ein Patient dadurch zu Schaden kommt? Oder der Arzt widerspricht der KI und das war die falsche Entscheidung?
Beide Fälle können eintreten. Ärzte führen schon heute viele Informationen zusammen: die Wünsche des Patienten, Leitlinien, Untersuchungen und die eigene Erfahrung. Künftig kommt die KI als weitere Stimme hinzu. Am Ende muss der Arzt daraus eine Entscheidung treffen und die Verantwortung dafür tragen. Niemand sollte der KI blind folgen.

Was wird KI in zehn Jahren in der Medizin können, das uns heute vielleicht noch wie Science-Fiction erscheint?

Ich glaube, dass KI viele Probleme lösen kann, die wir heute in der Medizin haben. Dokumentation und andere administrative Aufgaben ließen sich schon mit heutiger Technologie weitgehend automatisieren. Dafür müssen wir die Arbeitsabläufe entsprechend anpassen. Ein zweites großes Thema ist der Zugang zur medizinischen Versorgung. KI könnte einen Teil der grundlegenden medizinischen Erstversorgung unterstützen. Viele Menschen nutzen Chatbots für medizinische Fragen ohnehin schon heute.

Wenn Sie eine rote Linie für KI in der Medizin ziehen könnten, wo wäre sie?
Ich sehe keine spezielle rote Linie nur für KI. Für sie sollten dieselben Grundprinzipien gelten wie für die heutige Medizin: Autonomie für die Patienten, Fürsorge, Schadensvermeidung und Gerechtigkeit. Wir müssen keine völlig neuen Grundsätze erfinden, sondern dafür sorgen, dass die bestehenden auch beim Einsatz von KI gewahrt bleiben.


Ist KI nun gut oder schlecht oder ist die Antwort komplizierter? Das neue Top-Thema auf Wissensland dazu kostenfrei lesen!

KI entwickelt sich in rasantem Tempo. Gleichzeitig wächst die Debatte darüber, wie sicher und verlässlich die Systeme sind. Forschende in Sachsen suchen nach Antworten. Mehr kostenfrei auf Wissensland.de lesen.

KI beantwortet Anrufe, findet verborgenes Wissen und beschleunigt Kalkulationen. Drei junge Unternehmen zeigen, wie die Technik im Arbeitsalltag ankommt. Hier auf Wissensland.de kostenlos lesen.

METIS