Digital-Health-Podcast: Gesundheitsdaten, KI, Kontrolle – was steht auf dem Spiel?

00:00:01: Willkommen beim

00:00:02: Digital

00:00:03: Health Podcast von

00:00:04: Heiser Online.

00:00:05: Hier geht es um die Digitalisierung im Gesundheitswesen, von Apps und Medizintechnik bis hin zur Gesundheitspolitik.

00:00:13: Für alle, die wissen wollen wie sich das Gesundheitswesend digital verändert.

00:00:22: Künstliche Intelligenz wird im Gesundheitswesten an vielen Stellen als Antwort auf drängende Probleme präsentiert – zu wenig Personal, zu viel Bürokratie und steigende Kosten.

00:00:34: Oft ist das Motto schnell KI-Nutzen, um Versorgungsengpässe zu verhindern – dann wird sich schon zeigen was wird!

00:00:40: Aber gerade im Gesundheitswesen geht es nicht nur um effizientere Prozesse sondern auch sehr persönliche Informationen und um konkrete Entscheidungen über die Versorgung.

00:00:50: Und es geht um die Frage wer künftig über diese Daten und Systeme verfügt?

00:00:54: Ich bin Marie Claire Koch Redakteurin bei Heise Online und spreche heute über das Thema mit Paulina Joe Pash.

00:01:00: Sie ist Junior-Professorin für Recht der Digitalisierung, Datenschutz und Künstliche Intelligenz an der Friedrich Alexander Universität Erlangen-Nürnberg.

00:01:08: Ja hi!

00:01:08: Danke für die Einleitung und ich freue mich dabei zu sein heute über Gesundheitsdaten und Datenschutze sprechen.

00:01:15: Ich freue mich auch.

00:01:16: Du hast einen sehr weiten Blick auf die ganzen Themen.

00:01:19: du schaust in andere Länder und aktuell ist es so dass immer mehr Wege in die medizinische Versorgung über Apps, Portale Und digitale Identitäten laufen, Anbieter wie Doktolib und Yameda bauen ihr Angebot immer weiter aus.

00:01:33: Von Terminvergabe über Praxissoftware bis zur KI-gestützten Dokumentation im Behandlungszimmer – also die KI hört mit!

00:01:40: …und auch größere Anbiter wie Amazon, Microsoft oder Palantir bauen ähnliche Angebote aus.

00:01:46: Wollen wir das jetzt alles so weiterlaufen lassen?

00:01:49: Was könnte aus deiner Sicht da drohen?

00:01:51: Also bei so gesundheitsärten Bestehen zum Beispiel Risiken, wenn irgendwie bekannt wird dass ich eine bestimmte Erkrankung habe.

00:01:59: Eine Infektion mit dem HIV-Virus, das immer noch mit einem großen Stickmal verbunden ist.

00:02:06: Obwohl heutzutage Medikamente zu Prävention und zur Therapie super geeignet sind?

00:02:12: Was kann da die Risiken sein?

00:02:14: also vielleicht entscheidet sich irgendjemand mich nicht einzustellen wegen meiner Gesundheitshistorie.

00:02:20: oder kann man sich vorstellen auch wenn es natürlich sätzlich beschränkt oder ausgeschlossen ist dass mal irgendwann vielleicht eine Krankenversicherung nicht bekommen kann, weil was bestimmtes über meinen Gesundheitszustand bekannt wird.

00:02:35: Das heißt das sind so besonders riskante Daten und da sind wir natürlich gerade in so einer Era auch mit dem aktuellen KI-Hype der sich natürlich hauptsächlich um generative Sprachmodelle dreht.

00:02:48: aber ja KI generell wieder sehr stark hyped dass einfach Daten ohne Risiken vernünftig abzuwägen da wendet werden, um KI-Modelle zu entwickeln und überhaupt Daten getriebene Technologien zu entwickeln.

00:03:04: Und ja die betroffenen sich hinterher wundern was das für Konsequenzen zu sie hat!

00:03:08: Wir wollen erstmal Innovationen betreiben und dann gucken wir was wird?

00:03:12: Das ist ja so ein bisschen die Devise aktuell.

00:03:14: jetzt haben aber immer wieder auch Datenlegs.

00:03:17: letztens hatte wieder eine Versicherung ne Schnittstelle offen gelassen und die Frage ist ja dann wer trägt die Verantwortung?

00:03:24: das wird ja dann teilweise auch.

00:03:26: Das ist manchmal nicht so ganz klar.

00:03:29: In vielen Fällen kümmern sich die Anbieter ja auch überhaupt nicht, wenn man sie darauf hinweist – das hatten wir auch schon in der Vergangenheit – wen siehst du da in der Verantwortung und muss da vielleicht ein bisschen mehr noch geschehen, dass auch Dinge umgesetzt werden?

00:03:43: Wenn was schief geht...

00:03:44: Ja also so Data Breaches, wenn jetzt irgendwo Darkenlegs entstehen, sind ja immer eine Frage irgendwie von Schiefgegangener IT-Sicherheit.

00:03:53: Datensicherheit ist auch eine Datenschutzanforderungen.

00:03:56: Unternehmen haben natürlich auch so mehr Reputationsinteressen daran, nicht Daten einfach zu verlieren.

00:04:01: Wenn ich jetzt aus der rechtlichen Seite darauf gucke, ist datenschutzrechtlich verantwortlich immer die Spälle, die allein oder gemeinsam mit anderen Stellen über die Zwecke und Mittel der Datenverarbeitung entscheidet.

00:04:14: Und das Zwecke-und-Mittel fällt ganz viel!

00:04:16: Also was sind das überhaupt für Daten?

00:04:17: Was mache ich Zwischenzweck verarbeite ich die und da können auch mehrere gemeinsam verantwortlich sein, sogar wenn sie nicht alle Zugriff auf die Daten haben.

00:04:27: Weil es einem einfachen Datenlegg, wo einfach irgendjemandem Datenverlohren gehen würde man gucken wer ist für diesen Datenverarbeitungsvorgang verantwortlicht hat also die Daten der zum Beispiel auf dem Server gespeichert, der da fälschlicherweise ohne Zugangssicherung erreichbar war, und das dann die verantwortliche Stelle.

00:04:48: Wo das komplexer ist bei so Entscheidungsunterstützungssystemen, Risikobewertungen kann man sich auch im Gesundheitsbereich irgendwie denken, denn ganz viele Akteuren in Zusammenkommen.

00:05:02: Es ist eine Software-Anbieterin.

00:05:04: da würde man normalerweise erst mal sagen sie sind jetzt nicht verantwortlich dafür was die Nutzerinnen mit der Software machen.

00:05:09: Die meisten Software Anbieterinnen genau wie Cloud Anbieten Sagen aber die Nutzen, die Daten auch um ihre Service zu verbessern.

00:05:17: Oder im KI-Bereich ist das so dass die Anbieterinnen da ganz besonders alle für spezialisierte Anwendungsfälle vor allem besonders großen Einfluss darauf haben wie genau die Daten verarbeitet werden was da genaue Ergebnisse rauskommen und die Nutzerinnen eigentlich so verhältnismäßig wenig Einflussen und Einblick haben.

00:05:36: Da kann man immer denken ob sie nicht auch gemeinsam verantwortlich sind.

00:05:40: Und wenn wir dann so Modelle haben oder Systeme, die Daten von ganz verschiedenen Datenbanken, von ganz verschiedene Datensets heranziehen wie auch so bei Risikobewertungssystemen in ganz anderen Bereichen.

00:05:54: So im Polizei- und Grenzbereich dann hast du auch noch ganz viele Daten, die irgendwer irgendeine Stelle mal in die Datenbank eingetragen hat in die jeweilige.

00:06:04: Vielleicht sind die gar nicht mehr richtig oder aktuell und da kann man eigentlich auch darüber nachdenken, sind sie verantwortlich.

00:06:10: Und dann trennt sich natürlich auch mal die Frage davon der jetzt formell verantwortliche ist von der was Betroffene machen können um da weitere Risiken abzuwenden um nachzuvollziehen Was ist irgendwo schief gelaufen bei einem Datenverarbeitungsvorgang?

00:06:25: Warum sind Daten über mich bekannt geworden?

00:06:27: Warum ist eine Entscheidung über mich falsch getroffen worden?

00:06:30: Warum is ein Risiko um mich betreffend falsch eingeordnet worden.

00:06:34: Und da ist dann so ganz viele zusammenwirkend total schwer nachvollziehbar, was da geschehen ist.

00:06:40: Deswegen muss man immer die EZ können im Blick halten und es ist immer echt schwierig wenn viele Daten an einer Stelle zusammenlaufen.

00:06:50: Wir haben jetzt auch schon gehabt also bei aufgekauft, weil es insolvent ist und die Daten ziehen dann ja mit.

00:07:05: Also ist das eigentlich legal?

00:07:07: Man muss auch mit

00:07:07: den Daten ziehen mit dass die Teil des Unternehmens denn sind.

00:07:11: Genau also dass sie Daten dann mit übernommen werden.

00:07:14: Das hatten wir jetzt auch bei Pokémon Go, dass dann absammt Daten an jemanden anders gehen.

00:07:20: Ja wenn die dann in die Rechtsposition eintreten ich habe mich da im Datenschutz Kontext noch nicht so genau mit befasst.

00:07:26: Es wird wohl auch davon abhängen auf welcher Rechtsgrundlage die Datenverarbeitung beruht.

00:07:31: Im Datenschutzrecht haben wir ja erst mal ein Verbot der Verarbeitung personenbezogene Daten und es gibt dann immer dieses Erlaubnisvorbei, das heißt wenn eine Rechtsgrundlager einschlägt ist da auch mein Ausnahmswahlgutdaten verarbeiten und das kann sich zum Beispiel auf Einwilligungen stützen oder manchmal auch auf berechtigtes Interesse.

00:07:51: man wird definitiv mindestens eine Transparenz den Betroffenen gegenüber herstellen müssen und denen zum Beispiel sagen, ihr könnt jetzt auch die Einwilligung wiederrufen wenn die einen erteilt haben.

00:08:00: Das kann man schon machen.

00:08:02: bei Vertragsverhältnissen kann man es vielleicht anders sehen.

00:08:06: Läuft ja auch nicht immer alles so ab wie's sein sollte.

00:08:09: wahrscheinlich also dass das vielleicht auch mal untergeht?

00:08:11: Ja

00:08:12: ich glaube auch das ganze Datenschutzrecht als europäische ist eigentlich gemünzt auf informationale Selbstbestimmung.

00:08:18: Das ist ein Begriff, der kommt nicht aus dem europäischen Datenschutzrecht sondern aus dem deutschen Verfassungsrecht.

00:08:24: aber da gibt das Konzept wie wir die Risiken der Verarbeitung personenbezogener Daten regulieren auch für den europäischen Level gut wieder.

00:08:34: es soll der Einzelne so in die Lage versetzt werden bestimmen zu können was mit den eigenen Daten passiert.

00:08:43: Vielleicht gar nicht so ein guter Ansatz.

00:08:44: Viele Leute interessieren sich einen Scheiß für ihre Daten und sagen einfach, wenn mein Daten kann passieren was auch immer passieren wird und kann ich eh nichts machen oder ich habe nix zu verbergen?

00:08:57: Und das hat natürlich dann ganz.

00:08:59: viele machen gesamtgesellschaftliche Konsequenzen weil man aus den Daten aller leute um mich herum auch wieder vielleicht Rückschlüsse auf mich ziehen können.

00:09:11: ja, schon mal ein großer Missstand bei dem Ganzen.

00:09:16: Dann wenn wir über Gesundheitsdaten sprechen oder auch über komplexe Technologien dann müssen wir uns auch mal fragen was können denn Betroffene da eigentlich einsehen?

00:09:27: Im Gesundheits-Datenbereich es sind ja so riskante Daten, da läuft eigentlich alles über Einwilligungen und jetzt ist das so datengetriebene Technologin da einerseits an ganz vielen Stellen wirklich sinnvoll sind und andererseits... der potenzielle Nutzen, wenn das gelingt eine gute Technologie zu entwickeln total hoch ist.

00:09:49: Da kann ich vielleicht dann Krankheiten mitteilen ganz vielen Betroffenen besseres Leben ermöglichen gerade Leute bei denen selber eine Krankheit gehalten wurde oder die dankbar sind für ihre Behandlung oder die bei dem es nicht geklappt hat.

00:10:04: sie haben eine ganz hohe Bereitschaft einzubilligen dass ihre Daten zum Beispiel zu Forschungszwecken verwendet werden.

00:10:10: Die wollen was zurückgeben, die wollen dazu beitragen.

00:10:13: Das in der Medizin, das passiert ist ja total nachvollziehbar und da arbeitet man im Gesundheitsbereich auch noch mit Broad Consent.

00:10:22: Das heißt sie können einwilligen nicht nur für ein bestimmtes Projekt oder Forschungsprojekt und für ganz bestimmte enge umgrenzte Forschungszwecke sondern kann ja sein dass die Daten in fünf Jahren irgendwie von was anderes gut sind.

00:10:37: Und die Datenschutzbehörden, die akzeptieren das aus der Abwägung heraus dass der Nutzen so hoch sein kann und das natürlich total aufwendig ist und vielleicht nicht klappt immer wieder einzelne Einwürdigungen einzuholen weil die Betroffenen auch alle sagen cool Jetzt ist eh schon schwierig zu verstehen was mit meinen Daten passiert in der militärischen Forschung Was die Risiken angeht.

00:11:00: noch schwerer ist natürlich abzusehen was es ist wenn diese Forschungszwecken in den nächsten Jahren verwendet werden.

00:11:07: Da kommt auch hinzu, wir haben ja dann so Datensets.

00:11:12: der europäische Gesundheitsdatenraum soll noch erleichtern und regulieren dass solche Datensats auch für Forschungszwecke angeteilt werden können.

00:11:22: das die trotzdem irgendwie sicher sind und da sind jetzt meine Daten drin sag ich mal und sage hier okay sie können für Forschung benutzt werden und vielleicht sage ich das für ein paar Datensetz.

00:11:32: Und was passiert jetzt eigentlich, wenn in drei Jahren bei einem Forschungsprojekt alle drei Datensets zusammengeführt werden?

00:11:41: Ähm... ändert sich denn mein Risiko.

00:11:44: Da arbeitest du normalerweise mit Pseudonymisierung, das heißt irgendwie, dass das Datenset hinterher so aussieht, dass man die Betroffene nur mit Zusatzinformationen identifizieren kann, die irgendwo gesondert sicher verwahrt werden oder mit Anonymisierung Da sagt man, kann man gar nicht identifizieren.

00:12:03: Zumindest ist es nach allgemeinem Ermessen wahrscheinlich und das ist sowieso eine Gummifarmel irgendwie so anonym oder nicht anonym plinkt wie näher.

00:12:17: aber technisch ist es eine gratuelle Geschichte.

00:12:19: Das kannst du besonders gut sehen an verschlüsselten Festplatten.

00:12:23: da kannst du immer sagen ich brauche so in so vielen Rechenleistungen sowie zu viele Jahre um die zu entschlüsseln und vielleicht In zwei Jahren ist der Verschlüsselungsalgorithmus komprometiert und dann geht es plötzlich ganz schnell.

00:12:36: Und genauso kann man bei den Gesundheitsdaten sagen, jetzt sind die vielleicht als Anonymen anzusehen.

00:12:42: aber was ist denn in fünf Jahren?

00:12:45: Wenn wir das mit diesem Datenset noch einem anderen zusammenführen und jene KI damit trainieren, wissen wir nicht genau.

00:12:53: Das heißt da stößt die informationale Selbstbestimmung und die ganze Regulierung schön an ihre Grenzen.

00:12:59: Wie können Betroffene denn dann noch die Kontrolle behalten?

00:13:02: Ich

00:13:03: glaube dass die Kontrollen durch Betroffeene jetzt ähnlich der goldende Weg ist habe ich ja schon so angedeutet.

00:13:09: aber die die das wollen sollen es natürlich haben und aus meiner Sicht müssen wir neue Ansätze entwickeln und Betroffenen, die wollen, dass die medizinische Forschung von ihren Daten profitiert.

00:13:23: Die aber auch die Kontrolle erhalten wollen ist erleichtern da zu gucken was passiert mit meinen Daten?

00:13:29: Da könnte man zum Beispiel ein Portal haben das die Einwilligungen und auch das Widerrufen der Einwilligung erleichtert.

00:13:38: Das Betroffene immer sagt wir wollen jetzt die Daten hier für dieses Forschungsprojekt nutzen Und dann Wir müssen das auch auseinandergreifen mit Forschungsbeteiligten, Projektbeteilligten und Aufsichtsbehörden die wirklich substantiiert die Risiken darlegen.

00:13:59: Weil wir müssen nicht über jedes Phantasierisiko nachdenken und manche Risiken gerade in der Zukunft sind schwer bezifferbar.

00:14:07: aber es wird eh viel zu wenig gemacht dass Risiken vernünftig irgendwie errechnet werden des verschiedene Szenarien gibt, die da modelliert werden.

00:14:20: Im allgemeinen KI-Bereich haben wir dann noch ein größeres Problem.

00:14:23: Da werden einfach alle Daten in Modelle geschmissen, die dann auf die Menschheit losgelassen werden an Shatters Meter oder OpenAI vielleicht erst mal ein internes Forschungsprojekt macht und können die Daten auch auf grundberechtigten Interessen verarbeiten und dann einfach mal die Risiken ermittelt das Daten wieder aus dem Modell extrahirbar sind und was im Datenschutzbereich eigentlich noch schlimmer ist, dass Daten halluciniert werden.

00:14:50: Über Betroffene aus den Datensets oder auch über Dritte.

00:14:54: Und wenn man so ein Portal hätte das Betroffenen irgendwie die Risiken nachvollziehbar machen dann müssen sie nicht die Technologie im Einzelnen kapieren oder das Forschungsprojekt.

00:15:03: aber dann kann man sagen da sind informierte freiwillige Einwirkungen und hat nicht nur jemand vergessen oder den Überblick verloren, der es an meiner Einwilligung erteilt hat.

00:15:12: War das aus deiner Sicht dann auch etwas, wo man darüber Einwilligungen wiederrufen kann?

00:15:16: Ja.

00:15:17: Oder war das nochmal gesondert?

00:15:19: Ich bin tatsächlich auch an einem Forschungsantrag beteiligt, wo wir das mal entwickeln wollen also einerseits Risikobewertungstool und andererseits eine Plattform für Einwilligungen weil dieser Broad-Consent total nachvollziehbar ist im Gesundheitsbereich aber da wirklich die Kontrolle den Betroffenen hinterher völlig aus den Händen geglitten ist.

00:15:43: Und auch die Aufsichtsbehörden können natürlich immer näher hingucken bei den einzelnen Forschungsprojekten dann, aber das muss auch gemacht werden und dafür sind hier zu schlecht ausgestattet meine ich.

00:15:55: Das habe ich auch gehört!

00:15:56: Jetzt sieht man bei den aktuellen Einwilligungen was die Patientenakte angeht da gibt es ja auch mehrere Möglichkeiten zu widersprechen.

00:16:04: dort haben wir aktuell ja schon total das Chaos.

00:16:07: deswegen wäre das natürlich sehr wichtig daraus zu finden ob Und inwieweit, in welchen Abstufungen da solche Prozesse möglich sind.

00:16:15: Also es gibt ja etwa vierhundert Register und so weiter.

00:16:18: also man kann ja nicht für jedes dann ein eigenes Einwilligungsmanagement bauen

00:16:23: oder?

00:16:23: Genau!

00:16:24: Gerade wenn auch Betroffene wie es im Interesse aller Beteiligten hier ist ihre Einwilligung unabhängig von bestimmten Projekten erteilen sollen.

00:16:33: Deswegen gibt es ja nur diesen Broadconcent, der irgendwie akzeptiert ist und mit dem Zweckbindungsgrundsatz um Datenschutzrecht im Spannungsverhältnis steht Gelinde

00:16:42: gesagt.".

00:16:45: Die wollen natürlich dann nicht, also das kann man da nicht über die einzelnen Projekte immer machen.

00:16:49: Aber wenn wir da so ein One Stop Shop Hatche eine Plattform auf der das leicht möglich ist, dann wäre viel gewonnen.

00:16:57: Gesamtgesellschaftlich, wie gesagt glaube ich es wollen gar nicht so viele diese Kontrolle ausüben.

00:17:04: und ist noch wichtiger dass wir auch schauen wo können wir Risiken von betroffenen, potenziell Betroffenen der Gesellschaft weghalten.

00:17:14: In dem wir mal genau schauen welche Datenzelt werden zusammengeführt und was wird damit gemacht?

00:17:19: Gibt es da auch aus deiner Sicht klare Grenzen die wir nicht überschreiten sollen oder wo du sagst das sind Informationen die sollten unter keinen Umständen damit einfließen oder Kombinationen aus Informations...

00:17:31: Nee ich würde nie so Ganz harte Grenzen formulieren nicht so apodiktisch sein.

00:17:38: Sicherlich ist zum Beispiel in der KI-Regulierung gut, dass es bestimmte KI-Systeme gibt oder bestimmte Verbotene Praktiken damit.

00:17:46: Zum Beispiel bei bestimmten Systemen im Bereich von Emotionserkennung.

00:17:49: das ist eher antiwissenschaftlicher Schmuck aus meiner Sicht.

00:17:54: aber wenn wir jetzt bei bestimmte Daten sprechen, Datenschutzrecht ist eine Risikoregulierung und da geht's im Prinzip häufig oder immer in der Anwendung, darum dass wir grundrechtlich geschützte Interessen der Verantwortlichen Stellen absägen mit Grundrechtlich- geschützten Interessen vor allem den Datenschutzgrundrecht der Betroffenen.

00:18:16: und da können auch sensibelste Daten mal verarbeitbar sein wenn die Risiken vernünftig unter Kontrolle sind.

00:18:27: Und dann muss man sicherlich auch berücksichtigen Zu welchen Zwecken ist denn das, welcher Nutzen kann daraus gezogen werden?

00:18:35: Häufig besteht die Lösung in starken IT-Sicherheitsmaßnahmen.

00:18:40: Es ist halt nur ein Problem wenn man wen in den USA Gesundheitsdatensets zum Beispiel einfach raushaut.

00:18:45: öffentlich weil wenn die anonym sind aber dann später durch technischen Fortschritt oder Datenzusammenführung reidentifizierbar werden kann man nichts mehr machen um der Kontrolle auszuüben.

00:19:01: Deswegen ist eine Veröffentlichung von Daten immer problematisch und das sollten wir auch nicht

00:19:05: machen.".

00:19:06: Und findest du, dass da eine Transparenz noch mehr hermisst bei den ganzen KI-Systemen?

00:19:12: Wenn die jetzt zum Beispiel Entscheidungen über unsere Behandlung beeinflussen, sei es bei der Versicherung oder auch direkt... In der Praxis oder im

00:19:20: Krankenhaus.

00:19:21: Also generell ist Transparenz natürlich wichtig, da muss man einmal so an die Transparens für Betroffene denken was mit den Daten passiert und dann gibt es eine Transparentanforderung für so Risiko-KI Systeme.

00:19:34: Da geht's um Transpärenz für die Anwenderinnen dass sie denn auch interpretieren können was die KI denen gibt und vielleicht im Rahmen der menschlichen Aussicht dann doch das nicht einsetzen.

00:19:46: ich finde über Transporenz wird meistens zu schwarz-weiß gesprochen oder der wird nicht genug unterschieden.

00:19:53: Ich glaube, wir müssen uns für jeden Anwendungsfall, jeden Werdenverarbeitungsvorgang jedes KI System, jedes Tool und die Nutzer in den Gruppen angucken.

00:20:03: was brauchen wir von der Transparenz?

00:20:05: Und bei KI denken wir ja vor allem daran dass so Machine Learning Modelle Blackboxes sind das heißt, dass wir nicht genau wissen warum bestimmte Inputs in einem bestimmten Output führt.

00:20:16: und da ist ein großer Unterschied ob ich gerade im juristischen Bereich zum Beispiel, ob ich da ein generatives Sprachmodell habe das mir einen Text auswirft und den Text kann ich dann prüfen.

00:20:28: Da kann ich gucken, es stehen Sachen falsch drin die in der Akte eigentlich anders drinnen.

00:20:31: stehen sachtlich also Tatsachen oder ist die rechtliche Würdigung falsch?

00:20:36: Es ist trotzdem eine Herausforderung sicherzustellen, dass dann das Ergebnis benutzt.

00:20:42: Nicht sagt, es stimmt schon oder dem Computer zu sehr vertraut.

00:20:45: aber da ist eigentlich die Transquarenz nicht so ein Ding.

00:20:52: Natürlich kann man sagen wenn wir so einen Diskriminierungsfaktoren denken an Bias ist sie natürlich auch generative Sprachmodelle zeigen.

00:21:01: Da muss man dann trotzdem gute Technologien haben, gute Techniken um das zu vermeiden.

00:21:08: Aber es ist eine völlig andere Risikosituation mit einem intransparenten Blackbox-Modell als bei einer Risikobewertung wo einfach hinten rauskommt Person ist nicht kreditwürdig oder Personen wird Terroranschlag beginnen in der Zukunft.

00:21:26: Es kann ja keine Sau überprüfen sinnvoll.

00:21:29: Und wenn man da nicht irgendeine Form von Interpretierbarkeit hat, ist man ziemlich ausgeschmissen.

00:21:35: Nun muss man sich auch im einzelnen Fall fragen... Man hat oft nicht die Wahl zwischen beidem weil erklärbare oder interpretierbare Systeme viel schlechter sind.

00:21:48: Das ist dann meistens, es ist damit nix gewonnen.

00:21:51: Da muss man aber fragen ob man intransparente Systeme überhaupt verwenden will.

00:21:56: Häufig sind die auch gar nicht so toll.

00:21:58: Also dieses viel zitierte Beispiel von Kompass, dass die Rückfallwahrscheinlichkeit von Straftätern in den USA bestimmt – das basiert, glaube ich auf über hundertzwanzig Kriterien.

00:22:14: Man kann genauso präzise die Rückfahrwahrscheinlichkeit bestimmen mit drei Transparenzen oder nur mit Alter.

00:22:20: Gender und Zahl der Vorverurteilungen.

00:22:24: Da kann man relativ klar sagen, dass es wohl vorzugswürdig wäre wenn wir da über die Regeln diskutieren können ob sie uns gut genug sind.

00:22:31: Und dann muss man sich einfach fragen wie ist bei einem bestimmten Anwendungsfall das?

00:22:37: Bei Muss ich natürlich auch vor Augen führen KI ist nicht das einzige was intransparent ist.

00:22:42: also so Credit Scorings waren für diejenigen, die die Entscheidungen getroffen haben.

00:22:49: Auch als sie einfach transparente mathematische Formeln waren wahrscheinlich nicht verständlich nachvollziehbar.

00:22:57: Deswegen also Transparenz ist gut, er genießt uns immer überlegen was ist der Zweck und das auch abwägen.

00:23:03: mit so Trade-offs wie funktioniert das Modell dann vielleicht schlechter?

00:23:08: Aber hingucken muss man da auf jeden Fall!

00:23:11: Eine Frage, die da auch noch nicht geklärtet ist wäre dann überhaupt die Verantwortung trägt.

00:23:15: Also es treibt auch jedenfalls den Ärztetag sehr um, wer dann bei Behandlungsfehlern verantwortlich ist, ist aber genauso ein Thema beim Medizinprodukten an, also gereden und...also immer ein Thema.

00:23:27: Ja, bei den Behandlungsehördern das ist ja nochmal nicht datenschutzreich sondern da sind so Haftungsregelungen.

00:23:35: Da kann das natürlich je nachdem wie der Fall gelagert ist entweder der Arzt sein oder auch die Anbieterin.

00:23:42: Aber das kann im Einzelfall anders liegen, aber es ist natürlich wichtig sich darüber Gedanken zu machen.

00:23:48: Es gibt ja viele Modelle und Technologien im Bereich von Gesundheit wo zumindest in Diskussion steht ob diese gut funktionierenden Systeme zu einer Verlust von Fähigkeiten zu einem De-Skilling bei den Anwenderern entführen.

00:24:03: Das ist nicht unbedingt schlimm.

00:24:06: also wenn das super funktioniert Die Ergebnisse von Bildgebenden Verfahren wie Röntgenbilder oder CT-Bilder, oder MIT-Bilde maschinell anzugucken und das Verlernen dann all die Menschen.

00:24:20: Kann man jetzt mal darüber diskutieren gesellschaftlich ob das so schlimm ist aber man muss sich da natürlich über die Verantwortungszuweisung Gedanken machen.

00:24:29: Jetzt ist es ja noch kennt man vom Hautkrebs Screening dass die Technologie sehr gut zu sein scheint.

00:24:34: Aber die Ärztinnen Dass wir das genauso gut sehen

00:24:39: Das stimmt.

00:24:40: Und dann ist natürlich noch das große Thema, was so über allem ein bisschen hängt, wem vertrauen wir die Daten an?

00:24:47: Also das sind auch immer sehr schöne Beispiele aus den USA.

00:24:51: Da gibt es ja auch immer mehr dubiose Unternehmen, die sich jetzt in den Markt drängen und da alles übernehmen wollen, hatten wir eben schon kurz angerissen.

00:25:01: Ich weiß dass du das auch schon mal nach Vergangenheit gesagt hattest, dass es nicht so leicht ist selber eine Cloud aufzubauen oder überhaupt System lokal laufen zu lassen ist natürlich ein... Kann viele gar nicht leisten.

00:25:13: Ja,

00:25:14: aber also man muss ja sich bedanken machen.

00:25:17: was setzt man überhaupt für Technologien ein?

00:25:19: und wenn wir uns jetzt schon im ersten Schritt mal fragen den geben wir unsere Daten beim Terminmachen oder irgendeine Diagnostik dann ist unsere Freiheit dieser Entscheidung schon sehr stark begrenzt.

00:25:30: Manche Leute werden keine ADHS-Diagnostika bekommen Wenn ihr nicht zustimmen die bei jemandem zu machen der Entsprachmodell mitlaufen lässt damit der mehr Diagnosen machen kann weil sie viel zu wenige Leute gibt, die sich um Sonne aber ganz Dinge kümmern.

00:25:44: Vielleicht kriege ich auch gar kein Termin wenn ich nicht Doktor Lib benutze.

00:25:48: Danach der anderen Seite bei AnwenderInnen, da stelle es sich ja noch im Gesundheitsbereich... Da ist natürlich immer die Frage wo läuft die Software?

00:25:54: Wo liegen die Daten rum?

00:25:56: und das Datenschutzrecht ist eigentlich so.

00:25:59: wir wollen die Daten in Europa liegen haben.

00:26:02: jetzt sind wir in einer Welt wo die USA eine Autokratie kippen und im Softwarebereich sind einfach viele US-Anbieterinnen.

00:26:12: Und faktisch ist das also völlig egal, ob eine US Anbieterin in der EU was betreibt oder außerhalb der EU – das ist nicht sicher!

00:26:22: Und da sind auch irgendwelche Zusicherungen von beiden die Trump noch nicht offiziell zurückgenommen hat oder irgendwann plötzlich doch nix wert.

00:26:31: Also das muss man unbedingt vermeiden.

00:26:33: Das hat auch zu tun mit Abhängigkeiten.

00:26:36: einfach Da habe ich den Eindruck, dass viele das nicht bedenken.

00:26:40: Wenn ich so gucke was Behörden öffentlich äußern oder mit Behördenspreche zum Beispiel die darüber nachdenken will ich irgendeine KI-Lösung, will ich Palantir dann ist da ganz vielen immer wichtig, dass das an Primus läuft und dass das lokal verarbeitet wird.

00:27:00: Und es auch gut!

00:27:01: Worüber die nicht nachdenken ist, dass wenn sie irgendwann abhängig von einem Service sind.

00:27:04: Dass der Anbieter, die Anbitterin den einseitig diktieren kann das ist doch in die Cloud ziehen oder die verlieren halt alles Dann ist vorbei und dann zahlen die auch das Dreifache weil die ja jetzt so schön abhängigs sind.

00:27:15: Und diese Abhängigkeiten sollte man vermeiden.

00:27:18: wir haben gerade bei Microsoft gesehen und auch im Kreditkartenbereich Das da einfach Leute, wann ist die das denn her?

00:27:30: Weil es beim Internationalen Strafgerichtshof ich will jetzt nichts falschem sagen.

00:27:33: Ich meine schon einfach durch Versanktionen betroffen waren was nicht mehr mürzen konnten.

00:27:39: wir sollten nicht davon abhängig sein unsere Behörden Universitäten Krankenhäuser mit amerikanischer Software und den amerikanischen Clouds zu betreiben Und da müssen dann gute alternative Lösungen her.

00:27:56: Mal gucken, wie gut man mit Open Source zur Rande kommt.

00:28:00: Natürlich ist das manchmal praktisch nicht so gut umsetzbar und Clouds verwenden aber da sollte man sich echt überlegen welche.

00:28:10: Und ja es halt häufig so dass Leute sagen oh das war fürchterlich schwer.

00:28:15: Das haben die auch gesagt als irgendwie die Datenschutzgrundverordnung mit langer Vorlaufzeit in Kraft oder anwendbar wurde.

00:28:26: Da hieß plötzlich, wir können nicht DSGVO konform werden.

00:28:29: Weil es so wahnsinnig kompliziert ist unsere Datenschutzverarbeitungsvorgänge auch nur nachzuvollziehen.

00:28:37: Meistens galt ja vorher schon das gleiche Datenschutzzrecht über die Richtlinie umgesetzt im nationalen Recht.

00:28:43: und Sorry, wenn jemand nicht in der Lage ist Datenverarbeitungsvorgänge zu dokumentieren und sich da im Einzelnen Gedanken zu machen was die Risiken sind.

00:28:53: Ist das völlig okay?

00:28:55: Wenn es reguliert ist... Und klar ist das dann teuer, wenn man das vorhin nicht gemacht hat.

00:28:58: Genau wie bei IT-Sicherheit.

00:29:00: Wenn man irgendwie die Kontrolle verloren hat über immer komplexer gewordene Systeme.

00:29:04: Ja is jetzt doof!

00:29:05: Aber wir können nicht verzichten auf die Anforderungen da auf der Mikroebene Übersicherheit und Risiken nachzudenken, es ist auch ein Effizienz-Thema.

00:29:17: Ja also bei uns haben sich auch immer wieder welche gemeldet dass... Also die haben eine Psychotherapiepraxis und wurden einfach in die AWS Cloud umgezogen ohne das sie irgendwie eine Einwilligung erteilt haben.

00:29:30: und sowas habe ich halt mit einem Datenschützer grillt.

00:29:33: ja das passiert immer.

00:29:33: Ich finde dann schon bisschen schockieren.

00:29:36: Ja

00:29:36: es passiert wahnsinnig viel Schockierendes im Datenschutzbereich.

00:29:40: Da hat einfach viele keinen Bock drauf.

00:29:42: und es ist ja auch so eine Kultur, wo Innovation plötzlich definiert wird als sonst was für Mülldaten niedriger Qualität in Machine Learning-Modelle aufgebläht zu schmeißen die jetzt schon schlechter werden von der Menge und Qualität an Daten.

00:30:01: das ist so die Definition von Innovation.

00:30:04: Das Innovation darin bestehen könnte Das wäre regulatorische Anreize für datenschutzfreundliche, sichere, effiziente Technologien nicht nur haben sondern auch effektiv durchsetzen.

00:30:17: Das scheint den Leuten nicht in den Sinn zu kommen und gerade so im Datenschutz- und KI-Regulierungsbereich auch die Devise gepassen uns einfach mal eine konsolidierten Autokratie und den USA die Infaschismus kippen an Und anstatt hier zu sagen, wir machen ja mal richtig coole Modelle.

00:30:37: Weil so KI-Modelle auch schon in irischen Grenzen stoßen und der ist halt einfach häufig zu viel Einfluss der Anbieterinnen.

00:30:46: Und es wurde jetzt auch ziemlich umgebaut in der Regierung.

00:30:51: Jetzt ist ja jemand Gesundheitsminister geworden, der sich dafür einsetzten Register für psychisch Kranke aufzubauen.

00:30:59: Es ist wahrscheinlich dann nicht so rosig was so auf uns zukommt noch

00:31:03: Ja, das... also ich weiß gar nicht.

00:31:06: Da muss ich ja äußerst aufpassen wie ich mich dazu öffentlich äußer.

00:31:10: aber es stellt sich wirklich die Frage was da gerade passiert generell politisch.

00:31:16: Ich habe das Gefühl Es hat keine Fundierung in irgendeinem technischen oder ökonomischen Verständnis.

00:31:24: Ich denke mir ja manchmal weil man jetzt kein soziales bewusst sein.

00:31:26: auch für Leute kann man ja wenigstens Kapitalistisch überzeugende Lösungen sich überlegen, aber nicht dass ich jetzt sehr gut ein großer Fan von bin.

00:31:38: Das scheint auch nicht zu funktionieren.

00:31:39: und ja, können wir wirklich teilweise nicht erklären ob Innovationen verwechselt wird mit ganz viele Daten haben.

00:31:44: Und das ist ja totaler Quatsch weil innovative da kann man sich natürlich wenn man jetzt China werden möchte streiten.

00:31:50: aber ein Innovationstreiber ist natürlich auch Freiheit.

00:31:53: Das ist zumindest die Idee bei uns und freier Staat hat auch viel Datenschutz.

00:31:58: Das sind nie die die viel Überwachungsstaat haben.

00:32:02: ich weiß nicht was ein verdammtes Verzeichnis für psychisch kranke überhaupt soll.

00:32:06: ehrlich gesagt Ja, das ist ein Graus momentan auch.

00:32:12: Dass so die Budgets für psychotherapeutische Behandlungen und ich weiß nicht ob sie bei den Honoraren wie geplant reduziert haben dass da gerade so reduziert wird und ich glaube Das kann nur auf einem absoluten Unverständnis davon beruhen, was da eigentlich passiert.

00:32:29: Also diese grundlegende Abseherhaltung gegen Psychotherapie ist in Deutschland ja sicherlich auch durch den Nationalsozialismus begründet.

00:32:36: Es ist nicht so viele Jahre her dass jemand der in eine Psychiatrie geht, damit rechnen musste eingesperrt misshandelt umgebracht zu werden und das hängt in Deutschland natürlich noch tief in den Systemen und verhindert leider, dass ganz viele sich Hilfe suchen.

00:32:53: Dass die sich befassen mit diesen Themen und ja wahrscheinlich auch das sie verkennen was das ihnen und anderen der Gesellschaft bringt dabei kann man es ja auch in ganz knallharten Zahlen ausdrücken.

00:33:05: also ist ein Thema was mich wirklich ärgert und ich glaube wir können weder Datenschutz noch Innovation erwarten von Menschen die so entscheiden

00:33:14: oder behinderte wurden ja auch und alles so was.

00:33:21: Vor gar nicht allzu langsamer.

00:33:21: Ja, und dann auch das, was mich auch nervt ist... Wir haben irgendwie plötzlich einen Hype um Neurodivergents.

00:33:30: Ich bin selber Neuro-Divergent und ich sehe da werbt sich Alex Karp von Palantir im Interview im Handelsblatt und übt es so so viel Druck aus auf deutsche Behörden.

00:33:45: Die nicht, aber die uns mäßig.

00:33:48: Und der sprang plötzlich so auf und ab und stellte sich also ganz hyper aktiv da und sagte dann ja die Neurodivagentmenschen einfach an die autistischen Menschen, die sind die einzigen, die hier KI überleben, die da noch einen Job haben, so auf die Tour... Und gleichzeitig wird in den USA darüber diskutiert, Leute auf dem autistischen Spektrum einzusperren.

00:34:10: Da können wir uns dann alle fragen, in welcher Gruppe Autisten bin ich?

00:34:14: Aber das ist total absurd einfach was da gerade passiert.

00:34:19: und ja... Dann müssen wir wirklich aufpassen!

00:34:23: Ich kenne es auch aus einem privaten Bereich.

00:34:25: Da sind Leute die sind richtig froh gewesen dass ihre Kinder eine gute Diagnostik, eine gute therapeutische Versorgung haben kann und die haben jetzt Schiss.

00:34:35: Das ist Konsequenzen für die halt dass die Therapien nicht fortgesetzt werden und das ist ein großes Elend!

00:34:43: Und ich glaube, dass in diesem ganzen Daten-Technologie getriebenen Hype... ...und da ist ganz vieles dran gut, dass wir da auch einen großen Risiko haben.

00:34:53: Ich habe ja früher Blockchain erforscht, das war so ein Hypthema.

00:34:57: Und jetzt KI ist auch ein Halbthema.

00:34:59: und ich höre oft, dass jemand sagt diese Lösung mit KI oder mit Blockchain die ist besser als das was wir jetzt haben anstatt das zu vergleichen mit einer gut gemachten Lösung ohne die Technologie.

00:35:14: Um wirklich zu gucken was wäre denn eigentlich effizient?

00:35:17: Das ist einfach ein logischer Fehlschluss.

00:35:19: und so heißt es dann im Bereich von Hautkrebsscreenings Die funktionieren mit KI super bei weißen Menschen, nicht ganz so super bei schwarzen Menschen.

00:35:31: Die können wir ein bisschen Wasser machen wenn wir Bilder künstlich generieren von schwarzer Haut mit Hautkrebs.

00:35:40: aber wollen wir nicht mal darüber nachdenken ob wir vielleicht doch Fotos machen und das dann noch besser funktioniert, kann man für jeden einzelnen Fall entscheiden.

00:35:48: Auch so KI-Tutoren.

00:35:49: Da hat man ein Jura-Studium wo dann so siebenhundert Leute in den Anfängervorlesungen sitzen.

00:35:55: Kommen wir vielleicht überlegen ob die Universitäten für Lehre und Forschung mehr Leute und mehr Budget haben anstatt der Sachen auszulagern auf wirklich nicht intelligente KI Modelle?

00:36:10: Und können wir uns mal fragen ob zwischenmenschlicher Kontakt und Kommunikation nicht einen besonderen Wert hat.

00:36:19: Das ist ja auch so, wir würden uns ja nicht erzählen lassen von Zuckerberg oder so.

00:36:24: das mit großen Sprachmodellen also sowas was so chatty bitty zu grohende liegt eine Superintelligenz kommt die irgendwie Menschen in fast allen Aufgaben aussticht.

00:36:35: Das würden wir ja nicht im Betracht ziehen wenn wir verstehen würden dass wir selber eigentlich können wie wir uns von automatisierten Systemen absetzen.

00:36:44: Wir sind voller Sensoren, haben wahnsinnige sensorische Fähigkeiten auch was so Emotionen in anderen Personen angeht deutlich besser als irgendeine beschalte Emotionserkennung.

00:36:56: und ich glaube da müssen wir den Blick ein bisschen auf Menschen richten und uns auch fragen wie gut wann wir es machen?

00:37:04: Und nicht immer eine shitty Lösung mit Kislob in Betracht ziehen und sagen brauchen wir doch nicht mehr Geld.

00:37:11: also Das wäre schön.

00:37:13: Stattdessen gibt es noch eher einen halben Trauerbots oder Laughbots und Leute, die ChatGPT Chatty nennen, gibt's ja auch?

00:37:22: Ja ich hab gerade gehört das Jugendliche vielfach angeben dass das für Dien echtes Problem wär.

00:37:27: wenn der Chatbot den Charakter ändert was natürlich mit jeder neuen Modellversion passiert dann gibts natürlich wahnsinnig viele so Chatbots.

00:37:34: für parasociale Beziehungen Habe ich letztens auf einer Seite geguckt, die fällt mir gerade nicht ein.

00:37:39: Da kann man dann in die Kategorie Romance oder so gehen und Dating und dann kann man sich einen Chatbot aussuchen aus der Liste dabei da, Persönlichkeitsgestörter Stiefbruder.

00:37:56: Oh

00:37:57: mein Gott!

00:37:57: Also schon sind irgendwie spezielle Kings, einerseits aber andererseits.

00:38:01: wenn wir jetzt mal... Wir suchen uns jetzt einen netten KI-Tatmer.

00:38:06: Wenn dann Leute sagen ja das erzeugt nicht so viel Friktionen Er ist immer für mich da, ich habe keinen Streit Dann denke ich mir auch so eventuell erfüllt es nicht all die Funktionen die eine zwischenmenschliche Beziehung erfüllt und da müssen wir glaube ich schauen dass wir der Junge auch mitnehmen.

00:38:23: Wobei ich da eigentlich nicht so denken würde, dass die jüngsten Generationen da die Bescheuersten sind als beim Birns angucken.

00:38:30: Wer bei dem Doom-Scrolling für Dopamin hooked ist, das sind häufig auch Boomer, die sich jetzt Instagram installiert haben.

00:38:39: Da muss man halt mal darüber sprechen und vielleicht auch überlegen ob wir in der Schule im Bildungsbereich mehr über diese genuinen menschlichen Sachen lernen wollen und nicht nur KI-Prompten üben.

00:38:51: Können wir beides machen?

00:38:53: Ja, das finde ich auch wichtig.

00:38:55: Also vielleicht kannst du ja noch ein Fazit ziehen was du beim gesamten Einsatz von KI... Was dir besonders wichtig ist, was nicht zu kurz kommen darf.

00:39:05: Mir ist bei einem Einsatz von AI oder generell Automatisierungstechnologien immer wichtig dass wir uns fragen welchen System setzen wir zu welchem Zweck ein welche Leute benutzen das und Was müssen wir denn da so sicherstellen und was ist uns da auch gesellschaftlich wichtig?

00:39:25: Und dass wir dann diese Anforderungen, wie zum Beispiel das Menschenaufsicht noch ausüben und nicht was rein automatisiert ist.

00:39:32: Dass wir dann schauen sind die auch wirklich eingehalten und das gut empirisch belegen und dass wir nicht vorschnell immer annehmen, dass KI oder überhaupt eine Daten getriebene Ansatz zu einer besseren Lösung führt, sondern dass wir auch weiterhin für ja nicht so fancy unsexy Modelle und technische Ansätze offen sind.

00:39:57: Weil die effizienter sind, transparenter und oft auch besser funktionieren.

00:40:03: Und das wir da einfach uns die Mühe machen immer im Einzelfall zu schauen und gleichzeitig sicherstellen, dass unsere zwischenmenschliche Kommunikation Denken und unser Verständnisprozess nicht vermeintlich ausgelagert wird auf KI, weil das nicht geht.

00:40:24: Also wenn ich zum Beispiel lange Texte schreibe oder lese, habe ich am Ende das Thema erst verstanden?

00:40:28: Da kann ich mir hier eine Stichpunktliste in Chargibiti hacken, mir die ausgeben lassen und den gleichen Effekt auf meinen Gehirn erwarten.

00:40:35: Also für uns da einfach immer im Einzelnen Gedanken machen und dem Menschen nicht aus dem Blick verlieren, das finde ich am wichtigsten.

00:40:41: Ja vielen Dank!

00:40:42: Das ist ein sehr schönes Schlusswort.

00:40:44: Und ja, ich freu mich wenn wir vielleicht noch mal in Zukunft drüber reden.

00:40:48: Wenn die Apokalypse eingetreten ist, dann bis zum nächsten Mal!