Im Alltag verlassen wir uns längst auf digitale Helfer. Navigations-Apps oder Sprachassistenten geben den Ton an. Auch in der Medizin hält Künstliche Intelligenz Einzug. Doch wie sicher sind diese Systeme im Zusammenspiel mit Menschen?
Forschende der Technische Universität Dresden (TUD) zeigen, dass genau hier Risiken entstehen. Ihr Leitfaden soll helfen, diese besser zu erkennen und zu vermeiden.
Risiken entstehen im Zusammenspiel
Das Team um Stephen Gilbert vom Else Kröner Fresenius Zentrum für Digitale Gesundheit der TUD hat seine Ergebnisse jetzt in NEJM AI veröffentlicht. Die zentrale Erkenntnis: Nicht nur die Technik entscheidet über Sicherheit, auch die Nutzung durch Menschen spielt eine große Rolle.
KI-Systeme unterstützen heute etwa Radiologen bei der Krebsdiagnose oder helfen bei Therapieentscheidungen. Doch dabei kann es zu Fehlern kommen. Ein Beispiel ist der sogenannte Automatisierungsbias. Dabei übernehmen Fachkräfte Empfehlungen der KI zu schnell und prüfen sie nicht mehr kritisch. Ein weiteres Problem ist falsches Vertrauen. Manche verlassen sich zu stark auf die Technik. Andere ignorieren sie. Beides kann die Behandlung verschlechtern. Auch Stress durch komplexe Systeme oder ein schleichender Verlust von Fachwissen können Risiken erhöhen.
Solche Effekte sind international bekannt. Studien aus den USA und Europa zeigen ähnliche Muster. Besonders bei Entscheidungssoftware kommt es immer wieder zu Fehlinterpretationen oder Übervertrauen. Fachleute sprechen deshalb von einem zentralen Problem der Mensch-Maschine-Interaktion.
