KI-Update Deep-Dive: Wer hat die Kontrolle über unsere Gesundheitsdaten?

00:00:02: Das KI-Update, ein heise Podcast mit redaktioneller Unterstützung von The Decoder.

00:00:13: Hallo ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende.

00:00:20: Künstliche Intelligenz wird im Gesundheitswesen an vielen Stellen als Antwort auf drängende Probleme wie zu wenig Personal, zu viel Bürokratie und strukturierte Daten und steigende Kosten präsentiert.

00:00:33: Oft ist das Motto schnell KI nutzen, um Versorgungsengpässe zu verhindern.

00:00:37: Dann wird sich schon zeigen was wird!

00:00:40: Aber gerade im Gesundheitswesen geht es nicht nur um effizientere Prozesse sondern um sehr persönliche Informationen und um konkrete Entscheidungen über die Versorgung.

00:00:50: Und es geht um die Frage

00:00:52: wer

00:00:53: künftig über diese Daten und Systeme

00:00:55: verfügt?

00:00:57: Meine Kollegin Marie Claire Koch ist bei Heise Online unsere Expertin zur Gesundheitsthemen.

00:01:02: Sie sprach über die besonderen Herausforderungen von der KI-Nutzung, wenn es um Gesundheitsdaten geht mit Paulina Dopech.

00:01:10: Die ist Juniorprofessorin für Recht und Digitalisierung, Datenschutz und künstliche Intelligenz an der Friedrich Alexander Universität Erlangen-Nürnberg.

00:01:19: Und hier kommt ein Mitschnitt ihres Gesprächs!

00:01:26: Du hast einen sehr weiten Blick auf die ganzen Themen.

00:01:29: Du schaust auch in andere Länder so dass immer mehr Wege in die medizinische Versorgung über Apps, Portale und digitale Identitäten laufen.

00:01:39: Anbieter wie Dr.Lib und Yameda bauen ihr Angebot immer weiter aus von Terminvergabe über Praxissoftware bis zur KI-gestützten Dokumentation im Behandlungszimmer – also die KI hört mit!

00:01:50: Und auch größere Anbiete wie Amazon, Microsoft oder Palantir bauen ähnliche Angebote aus.

00:01:56: Ja, werden wir das jetzt alles so weiterlaufen lassen?

00:01:59: Was könnte aus deiner Sicht da drohen?

00:02:01: Also bei so gesundheitsärten Bestehen zum Beispiel Risiken, wenn irgendwie bekannt wird dass ich eine bestimmte Erkrankung habe.

00:02:09: Eine Infektion mit dem HIV-Virus, das immer noch mit einem großen Stickmal verbunden ist.

00:02:16: Obwohl heutzutage Medikamente zu Prävention und zur Therapie super geeignet sind?

00:02:22: Was kann da die Risiken sein?

00:02:23: also vielleicht entscheidet sich irgendjemand mich nicht einzustellen wegen meiner Gesundheitshistorie.

00:02:29: oder kann man sich vorstellen auch wenn es natürlich sätzlich beschränkt oder ausgeschlossen ist dass mal irgendwann vielleicht eine Krankenversicherung nicht bekommen kann, weil was bestimmtes über meinen Gesundheitszustand bekannt wird.

00:02:45: Das heißt das sind so besonders riskante Daten und da sind wir natürlich gerade in so einer Era auch mit dem aktuellen KI-Hype der sich natürlich hauptsächlich um generative Sprachmodelle dreht.

00:02:58: aber ja KI generell wieder sehr stark hyped dass einfach Daten ohne Risiken vernünftig abzuwägen verwendet werden, um KI-Modelle zu entwickeln und überhaupt Daten getrieben mit Technologien zu entwickeln.

00:03:13: Und ja die betroffenen sich hinterher wundern was das für Konsequenzen zu sie hat!

00:03:18: Wir wollen erstmal Innovationen betreiben und dann gucken wir was wird?

00:03:22: Es ist ja so ein bisschen die Devise aktuell.

00:03:24: jetzt haben aber immer wieder auch Datenlegs.

00:03:27: letztens hatte wieder eine Versicherung, eine Schnittstelle offen gelassen und die Frage ist ja dann wer trägt die Verantwortung?

00:03:34: Das wird ja dann teilweise.

00:03:36: Das ist manchmal nicht so ganz klar.

00:03:38: In vielen Fällen kümmern sich die Anbieter ja auch überhaupt nicht, wenn man sie darauf hinweist.

00:03:43: Das hatten wir auch schon in der Vergangenheit.

00:03:45: Wen siehst du da in der Verantwortung und muss da vielleicht ein bisschen mehr noch geschehen, dass auch Dinge umgesetzt werden?

00:03:53: Wenn was schiefgeht...

00:03:53: Ja also so Data Breaches, wenn jetzt irgendwo Datenlexe entstehen, sind ja immer eine Frage irgendwie von Schiefgegangene alte Sicherheit.

00:04:03: Datensicherheit ist auch eine Datenschutzanforderungen.

00:04:06: Unternehmen haben natürlich auch so mehr Reputationsinteressen daran, nicht Daten einfach zu verlieren.

00:04:11: Wenn ich jetzt aus der rechtlichen Seite darauf gucke, ist datenschutzrechtlich verantwortlich immer die Stelle, die allein oder gemeinsam mit anderen Stellen über die Zwecke und Mittel der Datenverarbeitung entscheidet.

00:04:23: Und das Zwecke- und Mittel fällt ganz viel!

00:04:25: Also was sind das überhaupt für Daten?

00:04:27: Was mache ich?

00:04:28: Zu waschen Zweck verarbeite ich die?

00:04:30: und da können auch mehrere gemeinsam verantwortlich sein, wenn sogar wenn die nicht alle Zugriff auf die Daten haben.

00:04:37: Weil es einem einfachen Datenlegg wo einfach irgendwie in meinem Datenverlohren gehen würde man gucken wer ist für diesen Datenverarbeitungsvorgang verantwortlicht hat also die Daten der zum Beispiel auf dem Server gespeichert der da fälschlicherweise ohne Zugangssicherung erreichbar war, und das dann die verantwortliche Stelle.

00:04:58: Wo das komplexer ist.

00:04:59: bei so Entscheidungsunterstützungssystemen, Risikobewertungen kann man sich auch im Gesundheitsbereich irgendwie denken, denn ganz viele Akteurinnen zusammenkommen.

00:05:12: Es ist eine Software-Anbieterin.

00:05:13: da würde man normalerweise erst mal sagen sie sind jetzt nicht verantwortlich dafür was die Nutzerinnen mit der Software machen.

00:05:19: Die meisten Software Anbieterinnen genau wie Cloud Anbieten Sagen aber die Nutzen, die Daten auch um ihre Service zu verbessern.

00:05:27: Oder im KI-Bereich ist das so dass die Anbieterinnen da ganz besonders alle für spezialisierte Anwendungsfälle vor allem besonders großen Einfluss darauf haben wie genau die Daten verarbeitet werden was da genaue Ergebnisse rauskommen und die Nutzerinnen eigentlich so verhältnismäßig wenig Einflussen und Einblick haben.

00:05:46: Da kann man immer denken ob sie nicht auch gemeinsam verantwortlich sind.

00:05:50: Und wenn wir dann so Modelle haben oder Systeme, die Daten von ganz verschiedenen Datenbanken, von ganz verschiedene Datensets heranziehen wie auch so bei Risikobewertungssystemen in ganz anderen Bereichen.

00:06:04: So im Polizei- und Grenzbereich dann hast du auch noch ganz viele Daten, wer irgendeine Stelle mal in die Datenbank eingetragen hat in die jeweilige.

00:06:13: Vielleicht sind die gar nicht mehr richtig oder aktuell und da kann man eigentlich auch darüber nachdenken, sind sie verantwortlich.

00:06:20: Und dann trennt sich natürlich auch mal die Frage davon der jetzt formell verantwortliche ist von der was Betroffene eigentlich machen können um da weitere Risiken abzuwenden um nachzuvollziehen was ist irgendwo schief gelaufen bei einem Datenverarbeitungsvorgang?

00:06:34: warum sind Daten über mich bekannt geworden?

00:06:37: Warum ist eine Entscheidung über mich falsch getroffen worden?

00:06:40: Warum is ein Risiko um mich betreffend falsch eingeordnet worden.

00:06:44: Und da ist, wenn so ganz viele zusammenwirkend total schwer nachvollziehbar was da geschehen ist.

00:06:50: Deswegen muss man halt immer die EZ können im Blick halten und es ist immer echt schwierig, wenn viele Daten an einer Stelle zusammenlaufen.

00:07:00: Wir haben jetzt auch schon gehabt also bei Twenty Three and Me gab's ja auch ein Datenleg und dann wird das Unternehmen hinterher noch aufgekauft, weil es insolvent ist und die Daten ziehen dann ja mit.

00:07:15: Also ist das eigentlich legal?

00:07:17: Man

00:07:17: soll mir die Daten sehen mit dass die Teil des Unternehmens denn sind.

00:07:21: Genau also dass sie Daten dann mit übernommen werden.

00:07:24: Das hatten wir jetzt auch bei Pokémon Go, dass dann absam Daten an jemand anders gehen.

00:07:30: Ja weil die dann in die Rechtsposition eintreten.

00:07:32: ich habe mich da im Datenschutz Kontext noch nicht so genau mit befasst.

00:07:36: Es wird wohl auch davon abhängen Auf welcher Rechtsgrundlage die Datenverarbeitung beruht, im Datenschutzrecht haben wir ja erst mal ein Verbot der Verarbeitung personenbezogene Daten und es gibt dann immer dieses Erlaubnisvorfall.

00:07:48: Das heißt wenn eine Rechtsgrundlager einstiegig ist, darf man Ausnahmswahlgut auch Daten verarbeiten.

00:07:53: Und das kann sich zum Beispiel auf Einwilligungen stützen oder manchmal auch auf berechtigtes Interesse.

00:08:00: Man wird definitiv... mindestens eine Transparenz den Betroffenen gegenüber herstellen müssen und denen zum Beispiel sagen, ihr könnt jetzt auch die Einwilligung wiederrufen wenn die einer erteilt haben.

00:08:10: Das kann man schon machen.

00:08:12: bei Vertragsverhältnissen kann man es vielleicht anders sehen.

00:08:16: Läuft ja auch nicht immer alles so ab wie's sein sollte.

00:08:19: wahrscheinlich also dass das vielleicht auch mal untergeht?

00:08:21: Ja ich glaube auch das ganze Datenschutzrecht als europäische ist eigentlich gemünzt auf informationelle Selbstbestimmung.

00:08:28: Das ist ein Begriff, der kommt nicht aus dem europäischen Datenschutzrecht sondern aus dem deutschen Verfassungsrecht.

00:08:33: aber da gibt das Konzept wie wir die Risiken der Verarbeitung personenbezogener Daten regulieren auch für den europäischen Level gut wieder.

00:08:44: Es soll der Einzelne so in die Lage versetzt werden bestimmen zu können was mit den eigenen Daten passiert.

00:08:52: Vielleicht gar nicht so ein guter Ansatz.

00:08:54: Viele Leute interessieren sich einen Scheiß für ihre Daten und sagen einfach, wenn mein Daten kann passieren was auch immer passieren wird und kann ich eh nichts machen oder ich habe nix zu verbergen?

00:09:07: Und das hat natürlich dann ganz viele machen gesamtgesellschaftliche Konsequenzen weil man aus den Daten aller leute um mich herum auch wieder vielleicht Rückschlüsse auf mich ziehen können und Das ist ja, schon mal ein großer Missstand bei dem Ganzen.

00:09:26: Dann wenn wir über Gesundheitsdaten sprechen oder auch über komplexe Technologien dann müssen wir uns auch mal fragen was können denn Betroffene da eigentlich einsehen?

00:09:37: Im Gesundheitsdatenbereich es sind ja so riskante Daten, da läuft eigentlich alles über Einwilligungen und jetzt ist das so datengetriebene Technologin da einerseits an ganz vielen Stellen wirklich sinnvoll sind und andererseits... der potenzielle Nutzen, wenn das gelingt eine gute Technologie zu entwickeln total hoch ist.

00:09:59: Da kann ich vielleicht dann Krankheiten mitteilen ganz vielen betroffenen besseres Leben ermöglichen gerade Leute bei denen selber eine Krankheit gehalten wurde oder die dankbar sind für ihre Behandlung oder die bei dem es nicht geklappt hat.

00:10:14: sie haben eine ganz hohe Bereitschaft einzubilligen dass ihre Daten zum Beispiel zu Forschungszwecken verwendet werden.

00:10:20: Die wollen etwas zurückgeben, die wollen dazu beitragen.

00:10:22: Das in der Medizin was passiert ist total nachvollziehbar und da arbeitet man im Gesundheitsbereich auch noch mit broad consent.

00:10:32: das heißt sie können einwilligen nicht nur für ein bestimmtes Projekt oder Forschungsprojekt und für ganz bestimmte enge umgrenzte Forschungszwecke sondern kann ja sein dass die Daten in fünf Jahren irgendwie für was anderes gut sind.

00:10:46: Und die Datenschutzbehörden, die akzeptieren das aus der Abwägung heraus, dass der Nutzen so hoch sein kann und das natürlich total aufwendig ist und vielleicht nicht klappt immer wieder einzelne Einwürdigungen einzuholen und weil die Betroffenen auch alle sagen cool.

00:11:02: Jetzt ist eh schon schwierig zu verstehen, was mit meinen Daten passiert in der medizinischen Forschung, was die Risiken angeht.

00:11:09: Noch schwerer es natürlich abzusehen, was ist wenn diese Forschungszwecken Jahren verwendet werden.

00:11:17: Da kommt auch hinzu, wir haben ja dann so Datensets.

00:11:21: der Europäische Gesundheitsdatenraum soll noch erleichtern und regulieren dass solche Datensats auch für Forschungszwecke angeteilt werden können.

00:11:32: das die trotzdem irgendwie sicher sind und da sind jetzt meine Daten drin sag ich mal und sage hier okay sie können für Forschung benutzt werden und vielleicht sage ich das für ein paar Datensetz.

00:11:43: Was passiert jetzt eigentlich, wenn in drei Jahren bei einem Forschungsprojekt alle drei Datensets zusammengeführt werden?

00:11:49: Ähm... ändert sich da mein Risiko.

00:11:54: Da arbeitet es normalerweise mit Pseudonymisierung, das heißt irgendwie, dass das Datenset hinterher so aussieht, dass man die Betroffene nur mit Zusatzinformationen identifizieren kann, die irgendwo gesondert sicher verwahrt werden oder mit Anonymisierungen – der sagt man, kann man gar nicht identifzieren!

00:12:12: Zumindest ist es nicht nach allgemeinem Messen wahrscheinlich.

00:12:17: Und das ist sowieso eine Gummifarmel.

00:12:22: irgendwie, so anonym oder nicht anonym klingt wie näher.

00:12:27: aber technisch ist es eine graduelle Geschichte.

00:12:29: Das kannst du besonders gut sehen an verschlüsselten Festplatten.

00:12:33: Da kannst du immer sagen ich brauche so und so viele Rechenleistungen So und so für Jahre um die zu entschlüsseln und vielleicht in zwei Jahren ist der Verschlüsselungsalgorithmus komprometiert und dann geht es plötzlich ganz schnell.

00:12:45: Und genauso kann man bei den Gesundheitsdaten sagen, jetzt sind die vielleicht als Anonymen anzusehen aber was ist denn in fünf Jahren?

00:12:54: Wenn wir das mit diesem Datenset noch einem anderen zusammenführen und jene KI damit trainieren wissen wir nicht genau.

00:13:03: Das heißt da stößt die informationale Selbstbestimmung und die ganze Regulierung schön an ihre Grenzen.

00:13:09: Können Betroffene denn dann noch die Kontrolle behalten?

00:13:12: Ich glaube, dass die Kontrollen durch Betrofene jetzt eh nicht der goldende Weg ist habe ich ja schon so angedeutet.

00:13:19: Aber die, die das wollen sollen es natürlich haben und aus meiner Sicht müssen wir neue Ansätze entwickeln.

00:13:28: Und Betroffenen, die wollen, dass medizinische Forschung von ihren Daten profitiert, aber auch die Kontroller halten wollen, ist erleichtern da zu gucken, was passiert mit meinen Daten.

00:13:39: Da könnte man zum Beispiel ein Portal haben das die Einwilligungen und auch das Widerrufen der Einwilligung erleichtert dass Betroffenen immer sagt wir wollen jetzt die Daten hier für dieses Forschungsprojekt nutzen Und dann muss ihr das auch ineinandergreifen Mit Forschungsbeteiligten also Projektbeteilligten und Aufsichtsbehörden die wirklich substantiiert, die Risiken darlegen.

00:14:09: Wir müssen nicht über jedes Phantasierisiko nachdenken und manche Risiken gerade in der Zukunft sind schwer bezifferbar aber es wird eh viel zu wenig gemacht das Risiken vernünftig irgendwie errechnet werden des verschiedene Szenarien gibt, die da modelliert werden.

00:14:29: Im allgemeinen KI-Bereich haben wir dann noch ein größeres Problem.

00:14:33: Da werden einfach alle Daten in Modelle geschmissen, die auf die Menschheit losgelassen werden an Shatters Meter oder OpenAI vielleicht erst mal ein internes Forschungsprojekt macht?

00:14:43: Dann können sie die Daten auch auf grundberechtigten Interessen verarbeiten und dann einfach mal die Risiken ermittelt das Daten wieder aus dem Modell extrahirbar sind und was im Datenschutzbereich eigentlich noch schlimmer ist, dass Daten halluciniert werden.

00:15:00: Über Betroffene aus den Datensets oder auch über Dritte.

00:15:03: Und wenn man so ein Portal hätte das Betroffenen irgendwie die Risiken nachvollziehbar machen dann müssen sie nicht die Technologie im Einzelnen kapieren oder das Forschungsprojekt.

00:15:12: aber dann kann man sagen da sind informierte freiwillige Einwirkungen.

00:15:16: und hat nicht nur jemand vergessen oder den Überblick verloren das er in meiner Einwilligung erteilt hat.

00:15:21: War das aus deiner Sicht dann auch etwas, wo man darüber Einwilligungen wiederrufen kann?

00:15:26: Ja.

00:15:27: Oder war das nochmal die

00:15:28: Sonne dort?

00:15:28: Ich bin tatsächlich auch an einem Forschungsantrag beteiligt, wo wir das mal entwickeln wollen also einerseits Risikobewertungstool und andererseits eine Plattform für Einwilligungen weil dieser Broad-Consent total nachvollziehbar ist im Gesundheitsbereich aber da wirklich die Kontrolle den Betroffenen hinterher völlig aus den Händen geglitten ist.

00:15:53: Und auch, die Aufsichtsbehörden können natürlich immer näher hingucken bei den einzelnen Forschungsprojekten dann aber das muss auch gemacht werden und dafür sind sie auch zu schlecht ausgestattet meine ich.

00:16:04: Das habe ich auch gehört.

00:16:06: und jetzt sieht man bei den aktuellen Einwilligungen.

00:16:08: was die Patientenakte angeht, da gibt es ja auch mehrere Möglichkeiten zu widersprechen.

00:16:14: Dort haben wir aktuell ja schon total das Chaos.

00:16:16: Deswegen wäre es natürlich sehr wichtig, da herauszufinden ob und inwieweit, in welchen Abstufungen da solche Prozesse möglich sind.

00:16:25: Also es gibt ja vierhundert Register

00:16:27: usw.,

00:16:28: also man kann ja nicht für jedes dann ein eigenes Einwilligungsmanagement bauen

00:16:32: oder?

00:16:33: Genau!

00:16:33: Gerade wenn auch Betroffene wie es im Interesse aller Beteiligten hier ist ihre Einwilligung unabhängig von bestimmten Projekten erteilen sollen.

00:16:42: Deswegen gibt es ja nur diesen Broadconcent, der irgendwie akzeptiert ist und mit dem Zweckbindungsgrundsatz im Datenschutzrecht in Spannungsverhältnis steht Gelinde

00:16:52: gesagt.".

00:16:54: Die wollen natürlich dann nicht, also das kann man da nicht über die einzelnen Projekte immer machen.

00:16:59: Aber wenn wir in einem One-Stop-Shop-Pattern so eine Plattform auf der das leicht möglich ist, dann wäre viel gewonnen.

00:17:07: Gesamtgesellschaftlich wie gesagt glaube ich es wollen gar nicht so viele diese Kontrolle ausüben.

00:17:13: und ist noch wichtiger dass wir auch schauen wo können wir Risiken von von betroffenen, potenziell Betroffenen der Gesellschaft weghalten.

00:17:24: In dem wir mal genau schauen welche Datensets werden zusammengeführt und was wird damit gemacht?

00:17:29: Gibt es da auch aus deiner Sicht klare Grenzen die wir nicht überschreiten sollen.

00:17:32: oder wo du sagst das sind Informationen die sollten unter keinen Umständen damit einfließen oder Kombinationen aus Informations... Nee

00:17:41: ich würde nie so So ganz harte Grenzen formulieren nicht so apodiktisch sein.

00:17:48: Sicherlich ist zum Beispiel in der KI-Regulierung gut, dass es bestimmte KI-Systeme gibt oder bestimmte Verbotene Praktiken damit.

00:17:56: Zum Beispiel bei bestimmten Systemen im Bereich von Emotionserkennung.

00:17:59: das ist eher antiwissenschaftlicher Schmuck aus meiner Sicht.

00:18:04: aber wenn wir jetzt bei bestimmte Daten sprechen, Datenschutzrecht ist eine Risikoregulierung und da geht's im Prinzip häufig oder immer in der Anwendung, darum dass wir grundrechtlich geschützte Interessen der verantwortlichen Stellen absägen mit Grundrechtlich- geschützten Interessen vor allem den Datenschutzgrundrecht der Betroffenen.

00:18:25: und da können auch sensibelste Daten mal verarbeitbar sein wenn die Risiken vernünftig unter Kontrolle sind.

00:18:37: Und dann muss man sicherlich auch berücksichtigen zu welchen Zwecken ist denn das, welcher Nutzen kann daraus gezogen werden?

00:18:44: Häufig besteht die Lösung in starken IT-Sicherheitsmaßnahmen.

00:18:50: Es ist halt nur ein Problem wenn man wen in den USA Gesundheitsdatensets zum Beispiel einfach raushaut.

00:18:55: öffentlich weil wenn die anonym sind aber dann später durch technischen Fortschritt oder Datenzusammenführung reidentifizierbar werden kann man nichts mehr machen um der Kontrolle auszuüben, deswegen so eine Veröffentlichung von Daten immer problematisch und das sollten wir auch nicht machen.

00:19:16: Und findest du dass da eine Transparenz noch mehr hermüsste bei den ganzen KI-Systemen wenn die jetzt zum Beispiel Entscheidungen über unsere Behandlung beeinflussen sei es ist bei der Versicherung oder auch direkt In der Praxis oder im Krankenhaus.

00:19:31: Also generell ist Transparenz natürlich wichtig, da muss man einmal so an die Transparens für Betroffene denken was mit den Daten passiert.

00:19:39: und dann gibt es eine Transpärenzanforderung für so Risiko-KI Systeme.

00:19:44: Da geht's um Transpärens für die Anwenderinnen dass sie denn auch... interpretieren können, was die KI den gibt und vielleicht im Rahmen der menschlichen Aussicht dann doch das nicht einsetzen.

00:19:55: Ich finde über Transparenz wird meistens zu schwarz-weiß gesprochen oder da wird mich genug unterschieden.

00:20:03: ich glaube wir müssen uns für jeden Anwendungsfall jeden werden Verarbeitungsvorgang jedes KI System jedes Tool und die Nutzer in den Gruppen angucken.

00:20:13: was brauchen wir von der Transparens?

00:20:15: Und bei KI denken wir ja vor allem daran, dass so Maschinenlanding-Modelle Blackboxes sind.

00:20:21: Das heißt das wir nicht genau wissen warum bestimmte Inputs in einem bestimmten Output führt.

00:20:25: und da ist ein großer Unterschied ob ich gerade im juristischen Bereich zum Beispiel, ob ich da generatives Sprachmodell habe, das mir einen Text auswirft und den Text kann ich dann prüfen.

00:20:37: Da kann ich gucken, es stehen Sachen falsch drin die in der Akte eigentlich anders drinnen stehen.

00:20:41: sachlich also Tatsachen Oder ist die rechtliche Würdigung falsch?

00:20:46: Es ist trotzdem eine Herausforderung sicherzustellen, dass dann das Ergebnis benutzt.

00:20:51: Nicht sagt, es stimmt schon oder dem Computer zu sehr vertraut.

00:20:55: aber da ist eigentlich die Transquarenz nicht so ein Ding.

00:21:01: Natürlich kann man sagen wenn wir so einen Diskriminierungsfaktoren denken an Bias ist sie natürlich auch generative Sprachmodelle zeigen muss man natürlich dann trotzdem gute Technologien haben, gute Techniken um das zu vermeiden.

00:21:18: Aber es ist eine völlig andere Risikosituation mit einem intransparenten Blackbox-Modeller als bei einer Risikobewertung wo einfach hinten rauskommt Person ist nicht kreditwürdig oder Person wird Terror-Einschlag beginnen in der Zukunft.

00:21:36: Es kann ja keine Sau überprüfen sinnvoll.

00:21:39: Und wenn man da nicht irgendwie eine Form von Interpretierbarkeit hat, ist man ziemlich ausgeschmissen.

00:21:45: Nun muss man sich auch im einzelnen Fall fragen... Man hat oft nicht die Wahl zwischen beidem weil erklärbare oder interpretierbare Systeme viel schlechter sind.

00:21:58: Das ist ja meistens ist damit nix gewonnen.

00:22:01: Da muss man aber dann fragen ob mein intransparentes System überhaupt verwenden soll.

00:22:05: Häufig sind die auch gar nicht so toll.

00:22:08: Also dieses viel zitierte Beispiel von Kompass, dass die Rückfallwahrscheinlichkeit von Straftätern in den USA bestimmt – das basiert ich glaube auf über hundertzwanzig Kriterien.

00:22:23: Man kann genauso präzise die Rückfahrwahrscheinlichkeit bestimmen mit drei Transparenzen oder nur mit Alter.

00:22:30: Gender und Zahl der Vorverurteilungen.

00:22:33: Da kann man relativ klar sagen, dass es wohl vorzugswürdig wäre wenn wir über die Regeln diskutieren können ob sie uns gut genug sind.

00:22:41: Und dann muss man sich einfach fragen wie ist bei einem bestimmten Anwendungsfall das?

00:22:48: Man muss sich natürlich Erfahrungen führen.

00:22:49: KI ist nicht das einzige was intransparent ist.

00:22:52: also so Credit Scorings waren für diejenigen, die die Entscheidungen getroffen haben.

00:22:58: Auch als sie einfach transparente mathematische Formeln waren wahrscheinlich nicht verständlich nachvollziehbar.

00:23:06: Deswegen also Transparenz ist gut, erinnert uns immer an Berlin, was ist der Zweck?

00:23:11: und das auch abwägen mit so Trade-offs wie funktioniert das Modell dann vielleicht schlechter?

00:23:17: Aber hingucken muss man da auf jeden Fall!

00:23:20: Eine Frage, die da auch noch nicht geklärtet ist wäre dann... überhaupt die Verantwortung trägt.

00:23:25: Also das treibt auch jedenfalls den Ärztetag sehr um, wäre dann bei Behandlungsfehlern verantwortlich ist es aber genauso ein Thema beim Medizinprodukten an also gereden und also immer ein Thema.

00:23:37: Ja,

00:23:37: bei den Behandlung fehlern das ist ja noch mal nicht Datenschutzreis sondern da sind so Haftungsregelungen.

00:23:44: der kann das natürlich je nachdem wie der Fall gelagert ist entweder der Arzt oder auch die Anbieterin.

00:23:52: Aber das kann im Einzelfall anders liegen, aber es ist natürlich wichtig sich darüber Gedanken zu machen.

00:23:58: Es gibt ja viele Modelle und Technologien im Bereich von Gesundheit wo zumindest in Diskussion steht ob diese gut funktionieren.

00:24:07: Systeme zu einer Verlust von Fähigkeiten zum De-Skilling bei den Anwenderern entführen Das ist nicht unbedingt schlimm.

00:24:15: also wenn das super funktioniert Die Ergebnisse von Bildgebenden Verfahren wie Röntgenbilder oder CT-Bilder, oder MIT-Bilde maschinell anzugucken und das Verlernen dann all die Menschen.

00:24:29: Kann man jetzt mal darüber diskutieren gesellschaftlich ob das so schlimm ist.

00:24:34: aber man muss sich da natürlich über die Verantwortungszuweisung Gedanken machen.

00:24:38: Jetzt ist es ja noch kennt man vom Hautkrebscreening dass die Technologie sehr gut zu sein scheint.

00:24:44: Aber die Ärztinnen Dass wir das genauso gut sehen

00:24:48: Das stimmt.

00:24:49: Ja.

00:24:49: und dann ist natürlich noch das große Thema was so über allem ein bisschen hängt, wem vertrauen wir die Daten an?

00:24:57: also das sind auch immer sehr schöne Beispiele aus den USA.

00:25:01: da gibt es ja auch immer mehr dubiose Unternehmen die sich jetzt in den Markt drängen und da alles übernehmen wollen hatten wir eben schon kurz angerissen ich weiß dass du das auch schon mal nach Vergangenheit gesagt hat dass das natürlich nicht so leicht ist.

00:25:15: selber eine Cloud aufzubauen oder überhaupt Systeme lokal laufen zu lassen ist natürlich ein... Kann viele gar nicht leisten.

00:25:23: Ja,

00:25:23: aber also man muss ja sich bedanken machen.

00:25:26: was setzt man überhaupt für Technologien ein?

00:25:29: und wenn wir uns jetzt schon auf den ersten Schritt mal fragen denen geben wir unsere Daten beim Terminmachen oder eine Diagnostik dann ist unsere Freiheit dieser Entscheidung schon sehr stark begrenzt.

00:25:40: Manche Leute werden keine ADHS-Diagnostika bekommen wenn ihr nicht zustimmen die bei jemandem zu machen der Entsprachmodell mitlaufen lässt damit er mehr Diagnosen machen kann weil sie viel zu wenig Leute gibt, die sich um Sonne aber ganz Dinge kümmern.

00:25:54: Vielleicht kriege ich auch gar keinen Termin wenn ich nicht Doktor Lib benutze.

00:25:57: Danach der anderen Seite bei AnwenderInnen.

00:25:59: das stellt sich ja noch im Gesundheitsbereich.

00:26:02: da ist natürlich immer die Frage wo läuft die Software?

00:26:04: Wo liegen die Daten rum?

00:26:06: und das Datenschutzrecht ist eigentlich so.

00:26:08: wir wollen die Daten in Europa liegen haben.

00:26:12: jetzt sind wir natürlich in einer Welt wo die USA eine Autokratie kippen und im Softwarebereich sind einfach viele US-Anbieterinnen.

00:26:22: Und faktisch ist das also völlig egal, ob eine US Anbieterin in der EU was betreibt oder außerhalb der EU – das ist nicht sicher!

00:26:32: Und da sind auch irgendwelche Zusicherungen von beiden die Trump noch nicht offiziell zurückgenommen hat oder irgendwann plötzlich doch nix wert.

00:26:41: Also das muss man unbedingt vermeiden.

00:26:43: Das hat auch zu tun mit Abhängigkeiten.

00:26:48: Da habe ich den Eindruck, dass viele das nicht bedenken.

00:26:50: Wenn ich so gucke was Behörden öffentlich äußern oder mit Behördenspreche zum Beispiel die darüber nachdenken will ich irgendeine KI-Lösung, will ich Palantir dann ist da ganz vielen immer wichtig, dass das an Primus läuft und dass das lokal verarbeitet wird.

00:27:09: Und es auch gut!

00:27:11: Worüber die nicht nachdenken ist, dass wenn sie irgendwann abhängig von einem Service sind, das der Anbieterin den einseitig diktieren kann.

00:27:18: Das ist doch in die Cloud ziehen oder die verlieren halt alles Dann ist vorbei und dann zahlen die auch das Dreifache weil ihr jetzt so schön abhängigt seid.

00:27:25: Und diese Abhängigkeiten sollte man vermeiden.

00:27:28: wir haben gerade bei Microsoft gesehen und auch im Kreditkartenbereich Dass da einfach Leute, wann ist die das denn her?

00:27:40: Was am Interesse an Strafgerichtshof.

00:27:42: Ich will jetzt nichts falschem sagen ich meine schon.

00:27:45: Einfach durch Transanktionen betroffen waren wasch nicht mehr mürzen konnten.

00:27:49: wir sollten nicht davon abhängig sein unsere Behörden Universitäten Krankenhäuser mit amerikanischer Software und den amerikanischen Clouds zu betreiben Und da müssen dann gute alternative Lösungen her.

00:28:06: Mal gucken, wie gut man mit Open Source zurande kommt.

00:28:10: Natürlich ist das manchmal praktisch nicht so gut umsetzbar und Clouds verwenden.

00:28:16: aber da sollte man sich echt überlegen wer ich bin.

00:28:20: Und es halt häufig so dass Leute sagen oh das war fürchterlich schwer.

00:28:25: Das haben die auch gesagt als irgendwie die Datenschutzgrundverordnung Mit langer Vorlaufzeit in Kraft oder anwendbar wurde.

00:28:36: Da hieß plötzlich, ihr könnt nicht DSGVO konform werden.

00:28:39: Weil es so wahnsinnig kompliziert ist unsere Datenverarbeitungsvorgänge auch nur nachzuvollziehen.

00:28:46: Meistens galt ja vorher schon das gleiche Datenschutzrecht über die Richtlinie umgesetzt im nationalen Recht.

00:28:53: und Sorry, wenn jemand nicht in der Lage ist Datenverarbeitungsvorgänge zu dokumentieren und sich da im Einzelnen Gedanken zu machen was die Risiken sind.

00:29:03: Ist das völlig okay?

00:29:04: Wenn es reguliert ist... Und klar ist das dann teuer wenn man das vorhin nicht gemacht hat.

00:29:08: Genau wie bei IT-Sicherheit.

00:29:09: Wenn man irgendwie die Kontrolle verloren hat über immer komplexer gewordene Systeme ja ist jetzt doof.

00:29:15: aber dass wir können nicht verzichten auf die Anforderungen da auf der Mikro Ebene über Sicherheit und Risiken nachzudenken, es ist auch ein Effizienz-Thema.

00:29:26: Ja

00:29:27: also

00:29:28: bei uns haben sich auch immer wieder welche gemeldet dass... Also die haben eine Psychotherapiepraxis und wurden einfach in die AWS Cloud umgezogen ohne das sie irgendwie eine Einwilligung erteilt haben.

00:29:40: und sowas habe ich halt mit einem Datenschützer grillt.

00:29:42: ja das passiert immer

00:29:43: wow

00:29:44: finde ich dann schon bisschen schockieren.

00:29:46: ja

00:29:46: es passiert wahnsinnig viel Schockierendes im Datenschutzbereich.

00:29:50: Da hat einfach viele keinen Bock drauf.

00:29:52: und es ist ja auch so eine Kultur, wo Innovation plötzlich definiert wird als sonst was für Mülldaten niedriger Qualität in Machine Learning-Modelle aufgebläht zu schmeißen die jetzt schon schlechter werden von der Menge und Qualität an Daten.

00:30:11: das ist so die Definition von Innovation.

00:30:13: Das Innovation darin bestehen könnte Das wäre regulatorische Anreize für datenschutzfreundliche, sichere effiziente Technologien nicht nur haben sondern auch effektiv durchsetzen.

00:30:27: Das scheint den Leuten nicht in den Sinn zu kommen.

00:30:30: und gerade so im Datenschutz- und KI-Regulierungsbereich auch die Devise, wir passen uns einfach mal eine konsolidierten Autokratie und den USA die Infaschismus kippen an!

00:30:43: Und anstatt hier zu sagen, wir machen ja mal richtig coole Modelle.

00:30:47: Weil so KI-Modelle ja schon in ihre Grenzen stoßen und der hat einfach häufig zu viel Einfluss der Anbieterinnen.

00:30:56: Es wurde jetzt auch ziemlich umgebaut in der Regierung.

00:31:00: Jetzt ist jemand Gesundheitsminister geworden, der sich dafür einsetzten Register für psychisch kranke aufzubauen.

00:31:08: Das ist wahrscheinlich dann nicht so rosig was noch auf uns zukommt.

00:31:13: Ja, das... also ich weiß gar nicht.

00:31:16: Da muss ich ja äußerst aufpassen wie ich mich dazu öffentlich äußer.

00:31:20: aber es stellt sich wirklich die Frage was da gerade passiert generell politisch.

00:31:26: Ich habe das Gefühl Es hat keine Fundierung in irgendeinem technischen oder ökonomischen Verständnis.

00:31:33: Ich denke mir ja manchmal weil man jetzt kein soziales Bewusstsein auch für Leute kann man ja wenigstens Kapitalistisch überzeugende Lösungen sich überlegen, aber nicht dass ich jetzt sehr gut ein großer Fan von bin.

00:31:47: Aber das scheint auch nicht zu funktionieren und kann mir wirklich teilweise nicht erklären ob Innovationen verwechselt wird mit ganz viele Daten haben.

00:31:54: Das ist ja totaler Quatsch weil Innovative... Da kann man sich natürlich, wenn man jetzt China werden möchte streiten.

00:32:00: Aber ein Innovationstreiber ist natürlich auch Freiheit.

00:32:03: Das ist zumindest die Idee bei uns und freier Staat hat auch viel Datenschutz.

00:32:08: Das sind nie die, die viel Überwachungsstaat haben.

00:32:12: Ich weiß nicht was ein verdammtes Verzeichnis für psychisch Kranke überhaupt soll ehrlich gesagt.

00:32:17: Ja also das ist ein Graus momentan auch dass so die Budgets für psychotherapeutische Behandlungen und ich weiß nicht, ob sie bei den Honoraren wie geplant reduziert haben.

00:32:29: Dass da gerade so reduziert wird und ich glaube... Das kann nur auf einem absoluten Unverständnis davon beruhen, was da eigentlich passiert.

00:32:39: Also diese grundlegende Abseherhaltung gegen Psychotherapie ist in Deutschland ja sicherlich auch durch den Nationalsozialismus begründet.

00:32:46: Es ist nicht so viele Jahre her dass jemand der in eine Psychiatrie geht Da mit Rechninmuste eingesperrt mishandelt umgebracht zu werden und das hängt in Deutschland natürlich noch tief in den Systemen und verhindert leider, dass ganz viele sich Hilfe suchen.

00:33:03: Dass die sich befassen mit diesen Themen und ja wahrscheinlich auch das sie erkennen was das ihnen und anderen der Gesellschaft bringt.

00:33:12: dabei kann man es ja auch im ganz knallhaben Zahlen ausdrücken.

00:33:15: also ist ein Thema was mich wirklich ärgert und ich glaube wir können weder Datenschutz noch Innovation erwarten von Menschen die so entscheiden

00:33:24: oder behinderte wurden ja auch und all so was.

00:33:30: Vor gar nicht allzu langsamer.

00:33:31: Ja, und dann auch das, was mich auch nervt ist... Wir haben irgendwie plötzlich einen Hype um Neurodivergents.

00:33:40: Ich bin selber Neuro-Divergent und ich sehe da tatsächlich Alex Karp von Palantir im Interview im Handelsblatt und übt also so vielen Druck aus auf deutsche Behörden.

00:33:55: Die nicht, aber die uns mäßig.

00:33:58: Und der sprang plötzlich so auf und ab und stellte sich also ganz hyper aktiv da und sagte dann ja, die Neurodivagentmenschen, vor allem die autistischen Menschen sind die einzigen, die hier KI überleben, die da noch einen Job haben – so auf die Tour!

00:34:14: Und gleichzeitig wird in den USA darüber diskutiert Leute auf dem autistischen Spektrum einzusperren.

00:34:20: Da können wir uns dann alle fragen, in welcher Gruppe Autisten bin ich?

00:34:23: Aber das ist total absurd einfach was da gerade passiert.

00:34:29: und ja, da müssen wir wirklich aufpassen!

00:34:32: Und ich erkenne es auch aus einem privaten Bereich.

00:34:35: Da sind Leute die sind richtig froh gewesen dass ihre Kinder eine gute Diagnostik, eine gute therapeutische Versorgung haben kann.

00:34:44: Und die haben jetzt Schiss, das ist Konsequenz und für die hat es die Therapien nicht fortgesetzt werden.

00:34:50: Das ist ein großes Ehland!

00:34:53: Ich glaube dass in diesem ganzen Daten-Technologie getriebenen Hype... Da ist ganz vieles dran.

00:34:59: gut, dass wir da auch einen großen Risiko haben.

00:35:03: Ich habe früher Blockchain erforscht, das war so ein Hypthema Und jetzt KI ist auch ein Halbthema und ich höre oft, dass jemand sagt diese Lösung mit KI oder mit Blockchain.

00:35:14: Die ist besser als das was wir jetzt haben.

00:35:19: anstatt das zu vergleichen mit einer gut gemachten Lösung ohne die Technologie um wirklich zu gucken was wäre dann eigentlich effizient?

00:35:27: Das ist einfach ein logischer Fehlschluss.

00:35:29: und so heißt es im Bereich von Hautkrebsscreenings Die funktionieren mit KI super bei weißen Menschen, nicht ganz so super bei schwarzen Menschen.

00:35:41: Die können wir ein bisschen besser machen, wenn wir Bilder künstlich generieren von schwarzer Haut mit Hautkrebs.

00:35:49: Aber wollen wir nicht mal drüber nachdenken?

00:35:51: Ob wir vielleicht noch Fotos machen und das dann noch besser funktioniert?

00:35:55: Kann man für jeden einzelnen Fall entscheiden auch so KI Tutoren?

00:35:59: Da hat man so einen Jura-Studium wo dann so siebenhundert Leute in den Anfängervorlesungen sitzen.

00:36:05: Kommen wir vielleicht überlegen ob die Universitäten mehr Leute und mehr Budget haben, anstatt da Sachen auszulagern auf wirklich nicht intelligente KI-Modelle.

00:36:20: Und können wir uns mal fragen ob zwischenmenschlicher Kontakt nicht einen besonderen Wert hat.

00:36:29: Das ist ja auch so, wir würden uns ja nicht erzählen lassen von Mark Zuckerberg oder so.

00:36:34: das mit großen Sprachmodellen also sowas was der Chatchi-Piti-Zugrunde liegt eine Superintelligenz kommt die irgendwie Menschen in fast allen Aufgaben aussticht.

00:36:44: Das würden wir ja nicht im Betracht ziehen wenn wir verstehen würden was wir selber eigentlich können wie wir uns von automatisierten System absetzen.

00:36:53: Wir sind voller Sensor angehaben wahnsinnige sensorische Fähigkeiten, auch was so Emotionen in anderen Personen angeht.

00:37:03: Deutlich besser als irgendeine beschalte Emotionserkennung.

00:37:06: und ich glaube da müssen wir den Blick ein bisschen auf Menschen richten und uns auch fragen wie gut wann wir es machen und nicht immer eine shitty Lösung mit Kislob in Betracht ziehen und sagen brauchen wir doch nicht mehr Geld.

00:37:21: also das wäre schön.

00:37:23: stattdessen gibt's noch eher einen halben Trauerbot oder Laughbots und Leute, die Chat-GPT Chatty nennen.

00:37:31: Gibt's sie auch?

00:37:32: Ja ich hab gerade gehört das Jugendliche vielfach angeben dass das für die ein echtes Problem wäre wenn der Chatbot den Charakter ändert.

00:37:38: Das ist natürlich mit jeder neuen Modellversion passiert.

00:37:41: dann gibt es natürlich wahnsinnig viele so Chatbots für parasociale Beziehungen.

00:37:46: Habe ich letztens auf einer Seite geguckt die fällt mir grade nicht an.

00:37:49: da können wir in die Kategorie Romance oder so gehen oder Dating, und dann kann man sich einen Chat-Bot aussuchen aus der Liste.

00:37:59: Da war da ein siebzehnjähriges obdachloses Mädchen, Persönlichkeitsstörter Stiefbruder... Oh

00:38:07: mein Gott!

00:38:07: Also schon

00:38:07: sind irgendwie spezielle Kings einerseits aber andererseits wenn wir jetzt mal... Wir suchen uns jetzt nen netten KI-Tradmer.

00:38:15: Wenn denn Leute sagen Ja, das erzeugt nicht so viel Friktionen.

00:38:19: Er ist immer für mich da und hat keinen Streit.

00:38:22: Dann denke ich mir auch so, eventuell erfüllt es nicht all die Funktionen, die eine zwischenmenschliche Beziehung erfüllt.

00:38:28: Und dann müssen wir glaube ich schauen dass wir der Junge auch mitnehmen wobei ich ja auch nicht so denken würde des jüngsten Generationen da die Bescheuerzten sind.

00:38:38: also wenn wir uns angucken wer beim Doomscrolling für Dopaminhookt ist, das sind häufig auch Boomer die sich jetzt Instagram installiert haben.

00:38:48: Da muss man halt mal drüber sprechen und vielleicht auch überlegen ob wir in der Schule so im Bildungsbereich mehr über diese genuinen menschlichen Sachen lernen wollen und nicht nur KI-Prompten üben kann ja beides machen.

00:39:02: Ja das finde ich auch wichtig.

00:39:04: Also vielleicht kannst du noch ein Fazit ziehen was du beim gesamten Einsatz von KI was dir besonders wichtig ist was nicht zu kurz kommen darf.

00:39:15: Mir ist beim Einsatz von KI oder generell Automatisierungstechnologien immer wichtig, dass wir uns fragen, welchen System setzen wir zu welchem Zweck ein?

00:39:26: Welche Leute benutzen das und was müssen wir denn da so sicherstellen und was ist uns da auch gesellschaftlich wichtig?

00:39:34: und dass wir dann diese Anforderungen wie zum Beispiel das Menschenaufsicht noch ausüben Dass wir dann schauen, sind die auch wirklich eingehalten und das gut empirisch belegen.

00:39:48: Und dass wir nicht vorschnell immer annehmen, dass KI oder überhaupt eine datengetriebene Ansatz zu einer besseren Lösung führt sondern dass wir auch weiterhin für ja nicht so fancy unsexy Modelle und technische Ansätze offen sind weil die effizienter sind, transparenter und oft auch besser funktionieren.

00:40:12: Und dass wir da einfach uns die Mühe machen immer im Einzelfall zu schauen und gleichzeitig sicherstellen, dass unsere zwischenmenschliche Kommunikationen und unser Denken- und unser Verständnisprozess nicht vermeintlich ausgelagert wird auf KI – weil das nicht geht!

00:40:33: Also wenn ich zum Beispiel lange Texte schreibe oder lese, hab' ich am Ende das Thema erst verstanden.

00:40:38: Da kann ich mir hier ein Stichpunktlist in Chagipiti-Hacken die Ausgeben lassen und den gleichen Effekt auf meinen Gehirn erwarten.

00:40:45: Also für uns da einfach immer im Einzelnen Gedanken machen und dem Menschen nicht aus dem Blick verlieren – das finde ich am wichtigsten!

00:40:52: Das war's für heute.

00:40:53: mehr zum Thema Gesundheit.

00:40:55: hört ihr von Marie Claire Koch in ihrem Digital Health Podcast auf der Plattform Eurer Wahl oder natürlich bei heise.de slash Podcasts.

00:41:05: Der nächste Deep Dive ist eine ganz besondere Folge, bereits in einer Woche!

00:41:10: Denn das KI-Update gibt es auf der IFA zum ersten Mal live zu sehen.

00:41:16: Zusammen mit meiner CT-Kollegin Sabrina Patsch spreche ich dort am Sonntag Nachmittag über KI in der Popkultur zwischen Vision und Wunschdenken.

00:41:26: Und weil ihr ja nicht alle dabei sein

00:41:28: werdet

00:41:28: gibt es den Mitschnitt, nächsten Freitag hier zu hören.

00:41:31: Es würde mich freuen wenn ihr dann wieder dabei seid!

00:41:34: Bis dahin könnt ihr natürlich mit dem kompakten KI-Update am Montag und Mittwoch auf dem Laufenden bleiben.