Puraite soll Evidenzsynthese in den Lebenswissenschaften beschleunigen

00:00:01: Willkommen beim Digital Health Podcast von Heise Online.

00:00:05: Hier geht es um die Digitalisierung im Gesundheitswesen, von Apps und Medizintechnik bis hin zur Gesundheitspolitik.

00:00:13: Für alle, die wissen wollen wie sich das Gesundheitswesend digital verändert

00:00:24: Hallo und herzlich willkommen!

00:00:25: Ich bin Marie-Claire Koch, Redakteurin bei Heise online und sitze heute in der Universität Paterborn.

00:00:31: ich habe mich selbst eingeladen Und bei mir ist Sahin Baki, er ist wissenschaftlicher Mitarbeiter an der Universität Haderborn am Lehrstuhl Data Science.

00:00:40: Hallo Sahin!

00:00:41: Hi

00:00:41: Marie

00:00:42: und wir sprechen über PURATE das ist eine Plattform zur Evidenz-Synthese.

00:00:46: kannst du erklären was PURATE genau macht?

00:00:48: Ja genau also.

00:00:49: PURATA ist das Ausgründungsprojekt dass wir in unserem Lehrstuel haben.

00:00:52: Also POAIT steht für PoAI-Technologie.

00:00:55: Wir sind ein Projekt, das von der EU und dem Bundesfinisterium für Wirtschaft gefördert ist.

00:01:01: Und im Grunde genommen geht es dabei darum die Evidenzsynthese in den Life Sciences vornehmendlich in der Pharmindustrie Medizintechnik und anderen angrenzenden Bereichen zu automatisieren.

00:01:11: Kannst du dir so vorstellen?

00:01:13: Evidence in der Medizin hat verschiedene Stufen kann man sagen also stellt sowas wie eine Evidenspyramide vor Und die oberste Einheit sind quasi Systematic Reviews und Meta-Analysen, die zugrunde liegende randomisierte klinische Studien verarbeiten um eine Forschungsfrage zu beantworten.

00:01:31: Also du hast eine Forschungfrage, suchst tausende Studien, screens die auf Relevanz also relevant irrelevant inkludiere ich das oder nicht?

00:01:39: Und anschließend musst du aus den, die du inkludierst die Daten extrahieren verschiedene Zahlen vielleicht Text ne Pets usw.

00:01:45: und so fort und das alles dann zu synthetisieren.

00:01:49: Das ist ein Prozess, der dauert heute sechs Monate.

00:01:52: Manchmal sogar bis zu vierundzwanzig Monaten und dementsprechend ist er auch teuer.

00:01:55: und wir sind auf das Problem gestoßen und haben uns gedacht okay das lässt sich wahrscheinlich ziemlich gut mit den aktuellen technischen Möglichkeiten beschleunigen

00:02:07: Und ich kann jetzt nicht einfach normales große Sprachmodell dafür nutzen?

00:02:12: Also wird unter anderem natürlich auch dafür genutzt einfach weil man dieses semantische Verständnis für die Verarbeitung von Text benötigt.

00:02:20: Aber natürlich nicht nur ausschließlich, aber ich sage mal ein großes Sprachmodell, sagen wir mal so was wie HHGPT oder CLOT direkt dafür zu benutzen wird wahrscheinlich nicht funktionieren, weil egal wie fließend die Aussage dieses Modells klingt es ist dann noch lange keine Evidenz, weil Evidenzen zu generieren musst du reproduzierbare Ergebnisse liefern.

00:02:44: Du musst das ganz auditierbar machen und eben auch transparent, es muss in einer Art und Weise geschehen wie sie den vorgegebenen also nach den Goldstandardprozessen vorgegebenden Schritten entsprechend von der Protokollgenerierung bis zu Suche oder schließlich zum Entwerfen des Manuskripts.

00:03:04: und das ist etwas was man in einem bloßen Chatinterface nicht irgendwie abbilden kann zumindest stand heute nicht.

00:03:10: Was macht dann euer Produkt alles?

00:03:12: Also es ist sehr modular aufgebaut.

00:03:14: Purates Plattform bietet quasi eine Infrastruktur für den gesamten Evidenzentäseprozess, das kann sein für Systematic Reviews aber auch für andere Arten von Reviews sagen wir Targeted Reviews, Umbrella Reviews also wirklich die gesamte Bandbreite.

00:03:30: und die Idee hinter purate ist dass die Forscherinnen und Forscher dazu zu bewegen alles auf einer Plattform abzuschließen mit oder ohne KI, aber ohne Medienbruch.

00:03:39: Aktuell ist es so dass dieser Prozess super fragmentiert ist und sodass man sich verschiedene Excel-Dateien hin und her schickt, verschiedene Versionierungen hat usw.

00:03:47: Und bei PURATE ist das so dass du eine Weboberfläche hast wo du den gesamten Prozess von Anfang bis Ende durchlaufen kannst.

00:03:54: Du kannst dann modular in jedem einzelnen Schritt KI benutzen, aber erklärbare KI heißt woher die KI sichere Information hergezogen und wie sicher es sich diese mit Konfidenzintervallen, die statistisch berechnet worden sind zwischen einem bis zu hundert Prozent um dann auch Aussagen darüber zutreffen wie sicher sich die KI ist.

00:04:11: Du musst das aber nicht entsprechen deiner methodologischen Ansprüche ja?

00:04:15: Die Plattform ist also wirklich end-to-end.

00:04:18: man kann das ohne KI machen oder eben mit so dass als kurze Zusammenfassung Ich

00:04:23: hab ja auch so Prozentangaben gehabt und statistische Signifikanzwerte.

00:04:28: Was sind da alles für Parameter in der Plattform?

00:04:31: Wenn ich jetzt ein Thema habe, und sage, ich möchte alles zu Osempic wissen... Wie gehe ich da genau vor?

00:04:37: Also typischerweise startet man mit einem Protokoll.

00:04:41: Diesen Protokols besteht an unterschiedlichen Granularitätsstufen, je nachdem wie viele Evidenz vielleicht es auch zu deinem Thema gibt.

00:04:50: zu jedem Thema kann man auch eine Systemative Review produzieren.

00:04:54: Aber das ist dann vielleicht auch ein Erkenntnis, dass es eben noch nicht genug Publikationen zu dem Thema gibt und das kann ja für eine Pharmafirma der ausschlaggebende Punkt sein um einen Studienauftrag zu geben.

00:05:04: aber prinzipiell läuft es so du hast ein Protokoll in diesem Protokall das kannst du dir vorstellen wie die Anleitung wie du die Review durchzuführen hast.

00:05:13: also was ist der Zweck dahinter?

00:05:16: Also warum machst du das?

00:05:18: Was sind die Datenbanken, die du bedienen willst?

00:05:21: So PubMed, OpenLX und andere.

00:05:23: Wie sehen deine Suchstrings aus?

00:05:25: Wie übersetzt du sie quasi von Plattform zu Plattformen?

00:05:28: Was willst du screenen?

00:05:30: Also was sind deine Inklusionskriterien?

00:05:32: und was sind Exklusions-Kriterien?

00:05:34: Oftmals sind die im Wissen der Forscher verankert Aber wirklich nicht sehr feingranola aufgeschlüsselt.

00:05:44: Also wenn er zum Beispiel steht, eine ältere Population soll inkludiert werden aber was genau heißt das?

00:05:48: Eine erfahrene Forscher weiß dann vielleicht okay das heißt über fünfein sechzig.

00:05:52: Für die KI ist dann relativ viel Interpretationsspielraum da drin.

00:05:56: deswegen es dann wichtig ist dass man das alles ganz klar definiert.

00:06:00: welche Datenpunkte sollen extrahiert werden also population und so weiter und sofort oder welche risk of bias Tools sollen angewandt werden.

00:06:08: Also um zu schauen, okay wie ist der Wert der Evidenz denn gerade?

00:06:12: Weil man natürlich gucken muss die darunter liegenden Publikationen, die ich damit einfließen lasse und wie sind sie zu bewerten auch kritisch zu bewährten und dann im Endeffekt sagen zu können Wie groß ist jetzt die Aussagekraft meines Systematic Reviews?

00:06:25: Und wenn ich jetzt unterschiedliche Ergebnisse habe also die einen bewerten zum Beispiel einen Stoff oder ein Produkt positiv und die anderen negativ werden dann ja die unterschiedlichen Erkenntnisse gegenübergestellt, oder?

00:06:41: Ja also das ist ja ziemlich häufig der Fall.

00:06:43: Dass man irgendwelche RCTs hat, also randomisierte klinische Studien, die nicht unbedingt das gleiche als Antwort bringen.

00:06:51: Und oftmals ist es auch so dass man auch keine direkten Vergleiche ziehen kann und das dann quasi indirekt durchführen muss.

00:06:59: Das ganze steht und fällt meiner Meinung nach damit, wie viele Publikationen du generell damit einfließen lassen kannst.

00:07:06: Und auf Basis dessen kannst du dann eben eine Aussage kräftigere oder weniger aussagekräftiger Antwort bringen.

00:07:12: aber musst du auch sagen das ist immer eine Momentaufnahme.

00:07:15: also deswegen ist ja auch das Konzept von Living Reviews die sich vielleicht kontinuierlich updaten so interessant weil jedes mal wenn neue Publikations rauskommen könnte es sein dass wenn diese inkludiert werden die Endaussage entsprechend verändern.

00:07:30: Weil neue Kenntnisse ans Tageslicht gekommen sind, die vorher unbekannt waren.

00:07:35: Und verschiedene Themen werden ja auch eher bei der Forschung unterstützt als andere?

00:07:40: Also es gibt ja sicherlich unterschiedliche Schwerpunkte.

00:07:42: also dass man sagt okay dieses Thema ist nicht relevant genug deswegen forschen wir dazu nicht so viel.

00:07:47: Auch was Funding angeht und dann auf globaler Ebene aber das kann man noch für Interessierte zu Hause plotten, wenn man möchte.

00:07:55: Also wenn man sich anguckt wie die Menge also die Grundgesamtheit am Publikation im Zeitverlauf gestiegen ist.

00:08:02: Manche reden da sogar von einer Wissens-Explosion in Anführungszeichen in der Medizin, dass es immer mehr Publikations in immer kürzerer Zeit gibt und dadurch das der Tag eben nur vierundzwanzig Stunden hat, guckt die Frage auch okay?

00:08:12: Wie will man all dieses Wissen verarbeiten?

00:08:15: Wahrscheinlich kann jemand sehr fit in seinem Gebiet ist, der immer noch ganz gut den Überblick behalten aber es wird schon deutlich schwerer.

00:08:22: Da ist natürlich auch die Frage, um das mal so kritisch zu bewerten.

00:08:26: Wie viel Mehrwert gibt es denn von Studien?

00:08:28: Die jetzt nicht in einem A-plus Journal auftauchen.

00:08:32: Also wie viel mehr Wert bietet eine Studie, die vielleicht ein Preprint ist?

00:08:38: Das wird heiß debattiert.

00:08:40: Man könnte auf der anderen Seite sagen okay, es verstecken sich überall irgendwelche Knowledge Nuggets, vielleicht einen Mehrwert bieten aber genau das ist das was wir mit Purate irgendwie adressieren wollen also dass man schätzen muss oder glauben, dass man das nicht mehr nur so Paretooptimal macht.

00:08:55: Dass man sich vielleicht nur noch auf die großen A-Plus-Journals konzentriert und nur noch das Wissen daraus nimmt, sondern vielleicht die Bandbreite dann ein bisschen öffnet.

00:09:02: Es wird ja auch immer kritisiert, dass es irgendwie zu allem eine Studie gibt?

00:09:06: Oder das glaubt nur der Studie, deren Ergebnisse du gefälscht hast?

00:09:10: Wie war der Spruch nochmal?

00:09:11: Glaubt nur dir ja Statistik, die du selber gefällst

00:09:13: hast!

00:09:14: Genau da kann man ja vielleicht auch damit ein bisschen entgegen steuern... man guckt okay wenn es jetzt aber zu diesem thema x studien gibt dann können wir schon eher sagen ok vielleicht stimmt da irgendwo was an der aussage oder

00:09:28: ja genau.

00:09:28: also ich glaube das ist generell ein großes himmer auch zum beispiel in so organizationen wieder evidenz basiert medizin ja kokrain und andere die da quasi so den gold standard legen.

00:09:39: man muss glaube ich meine meinung nach aber dass immer sich vor Augen führen, dass das eben Momentaufnahmen sind.

00:09:46: Also die werden auch kontinuierlich updated.

00:09:49: Was heute richtig ist muss nicht morgen richtig sein und andersrum.

00:09:51: Also kann man zusammenfassen sagen, dass Purative den aktuellen Forschungsstand zu einem bestimmten Thema zusammenzufassen?

00:09:59: Ja genau!

00:10:00: Und das machen wir mit in dieser Form von Systematic Reviews weil es eben die höchste Form der Evidenzynthese ist.

00:10:06: Das machen wir initial für allen Dingen für die forschende Industrie also Pharma Medizintechnik, die das aus regulatorischen Gründen quasi durchführen müssen und auch einreichen.

00:10:17: Zum Beispiel für Themen wie Wiederpreisverhandlungen.

00:10:19: Wir haben verschiedene Studien da bereits in Auftrag gegeben wo wir mit unabhängigen Vorstanden oder aus der Medizin zusammen Veröffentlichung in diesem Jahr herausbringen wollen um quasi aufzuzeigen wie gut das gegen den menschlichen Gold Standard performt.

00:10:33: also Wie sehr kann man der KI vertrauen stand heute?

00:10:37: Ich glaube aber dass es ein Thema ist dass man kontinuierlich immer wieder updaten muss weil das Thema so schnelllebig ist, also die Technologie verändert sich immer.

00:10:44: Und ich glaube man merkt auch gerade so eine gewisse Latente in der Wissenschaft, dass das was gerade irgendwie publiziert ist, der technische Stand irgendwie von vor einem Jahr ist aber sich quasi in einem Jahr super viel geändert hat dementsprechend die Halbwertzeiten super gering sind.

00:10:59: Ja sieht man ja auch an den Studien zu Sprachmodellen Die in letzter Zeit gab es ja auch viele mit einer veralteten Open AI Version.

00:11:07: Also da gab's ja verschiedene Studien.

00:11:10: ist JGPT besser als der Arzt, oder so.

00:11:13: Wie oft aktualisiert sich da ein euer System?

00:11:16: Also wenn ich jetzt eine neue Studie rausbringe heute ... Wann ist das dann drin?

00:11:21: Wir speichern die Studien, die veröffentlicht worden sind, wie ja nicht in unseren eigenen Datenbanken oder ähnliches.

00:11:28: Sofern dass auf den Datenbankingen, auf denen wir Zugriff haben, veröffentlicht worden ist.

00:11:33: Also Pub-Made und so.

00:11:34: Pub-Med,

00:11:34: Open Alex genau.

00:11:36: Haben wir dann die Möglichkeit darauf zuzugreifen Also zumindest auf den Titel und abstract.

00:11:40: Deswegen arbeiten wir auch initial mit der Fahrindustrie zusammen, weil spätestens wenn es darum geht die Volltexte zu bekommen also sagen wir haben das Initial Screening hinter uns.

00:11:47: Wir wollen dann die Volltexte screenen weil dort sich eben die entsprechende Informationen befinden.

00:11:51: für die Datenextraktion müssen wir oftmals auf die Lizenzen unserer Pilotpartner zurückgreifen.

00:11:57: Die haben ziemlich vollumfängliche Lizenzen, die es uns dann ermöglichen auf die ganzen, hinter die ganzen Paywalls zu kommen.

00:12:05: Und das ist auch eine der Gründe warum wir das Initial auch nicht zum Beispiel für die Wissenschaft oder für die Versorgung im großen Ziel angeboten haben.

00:12:12: Einfach weil es erst darum geht dass Produkt was ja sehr entwicklungsintensiv ist über die Industrie zu subventionieren und dann mittels langfristig das aber auch quasi zu öffnen für angrenzende Bereiche.

00:12:26: Wir haben öfter schon über PubMed gesprochen.

00:12:29: Merkt ihr schon irgendwie Auswirkungen davon, dass da der Zugang etwas begrenzter ist?

00:12:35: Oder

00:12:35: begrenzt werden soll?

00:12:36: ja.

00:12:37: Also bislang noch nicht.

00:12:38: Aber ich verfolge das natürlich.

00:12:39: Das ist ein sehr heiß diskutiertes Thema.

00:12:42: Prinzipiell verfolg' ich aber auch solche Sachen wie die Entwicklung zum Beispiel von Open Alex also nicht kommerziellen bibliografischen Datenbanken Meine Meinung nach eine coole Alternative sind zu dem proprietaryen Datemang, den man sonst so vorfindet.

00:12:55: Und ich würde mir wünschen dass das noch mehr Anklang findet und noch mehr Forscher dort ihre Sachen publizieren.

00:13:01: Wie ist es denn mit eurem Produkt?

00:13:02: Das ist ja mit der Pharmaindustrie zusammenarbeitet.

00:13:05: habt ihr da unterschiedliche Preismodelle oder was ist da so geplant?

00:13:09: Ich habe hier gesagt wir vertreiben das an die Industrie also heißt hauptsächlich an die Pharma-Industrie gefolgt von Versicherungen als auch Medizintechnik unternehmen wo die Regulatory relativ ähnlich aussieht.

00:13:20: Unsere Farmunternehmen müssen diese Reviews machen, das ist regulatorisch vorgeschrieben für verschiedene Zwecke.

00:13:24: Die Preispunkte sehen so aus im Ohren-Fünf bis Sechstelligen Bereich und das machen wir ganz ja nicht irgendwie seed based also nicht dass man dann eine Lizenz pro User oder sowas hat sondern typischerweise eigentlich für das gesamte Unternehmen in so einem Flatrate Modell weil die Idee dahinter ist Wir wollen nicht dass sich Leute irgendwelche Lizenzen teilen Vollumfänglichkeit irgendwie nutzen.

00:13:48: Also da Versionierungen drauf haben können, dass sie sich Aufgaben zu schicken können ja also das man quasi eine Plattform hat wo man vielleicht aber auch die ganzen Beratungen Die das aktuell für Pharma machen und mit on-boarden kann also dass du Quasi eine Schnittstelle hast auf der beider Zu den review arbeiten können Aber auch zuarbeiten können Und das ist die Idee dahinter und deswegen wollen wir das ganze nicht ich sag mal limitieren indem wir Das nur pro seat irgendwie verkaufen.

00:14:17: plant ihr auch irgendwie den Forschern, die ja an den ganzen Studien arbeiten was zurückzugeben oder so?

00:14:24: Ja also für Wissenschaftler ist das ganze Tool kostenlos in einer ich sag mal etwas limitierteren Version weil jedes Mal wenn die KI rechnet haben wir natürlich Imferenzkosten und deswegen wir subventionieren das Ganze und geben ihnen Zugang zu der Plattform aber eine abgespeckten Version zu der die die Pharmaindustrie zum Beispiel hätte.

00:14:44: sich das dann sonst nicht für uns rechnen könnte.

00:14:46: Also gibt da theoretisch auch die Pharmaindustrie wieder was zurück, wenn sie die Lizenzen quasi mitbezahlt ...

00:14:52: Ja, das ist quasi die Idee.

00:14:53: also wir sind ja quasi aus der Forschung heraus gegründet worden.

00:14:57: Dementsprechend es ist uns wichtig doch wieder etwas zurück zur Forschungscommunity zu geben.

00:15:01: Und wo rechnet eure KI?

00:15:04: Die Server sitzen in Europa und Frankreich.

00:15:07: Euer Produkt ist auf Englisch.

00:15:09: Also viele Studien sind ja auch auf Englig.

00:15:11: Ist da noch irgendwie geplantes zu ändern?

00:15:16: Also Evidenzentese wird typischerweise immer auf Englisch gemacht, also in absolut meisten Fällen.

00:15:26: Was auch daran liegt, dass die meisten Publikationen und Studien in mein englisches Sprach verfasst werden.

00:15:31: bislang hat sich noch keiner der User darüber beschwert was vielleicht aber auch daran liegt das die meisten unserer Kunden in angesächsischen Geografien irgendwie verortet sind.

00:15:41: Also USA, Kanada, Vereinigdes Königreich.

00:15:45: Prinzipiell ist es aber kein großes Ding, die Plattform an sich übersetzen zu lassen.

00:15:51: Aber man braucht immer das Verständnis der englischen Sprachung eben auch die Publikation später interpretieren zu können.

00:15:57: Also habt ihr in verschiedenen Ländern Kunden?

00:16:01: Was sind das so für Bereiche dann?

00:16:02: Also Pharmaunternehmen hast du schon gesagt?

00:16:04: Pharma-Unternehmen, Medizintechnik und auch Beratungen, die das für Pharma oder Medizintechnikunternehmen durchführen.

00:16:13: Ihr achtet ja auch darauf, dass das in Europa betrieben wird.

00:16:16: Warum ist es so wichtig für euch?

00:16:17: Also wir sind nicht die einzigen auf dem Markt, die daran arbeiten aber wir sind die Einzigen, die das in dem Umfang ausschließlich aus Europa heraus entwickeln und auch betreiben.

00:16:28: Und gerade vor den geopolitischen Schwierigkeiten sage ich mal mit Nordamerika glauben wir daran, dass eine Art Standortvorteil ist für die europäischen Pharma-Player oder generell Life Science Unternehmen.

00:16:41: Hier also auch außerhalb von Pharma, also Chemie-, Nahrungsmittel und die Zeentechnikversicherung.

00:16:48: Also das ist auch für die ein Standort-Vorteil, dass man das aus Europa herausentwickelt und auch die Serverstandorte hier in Europa betreibt.

00:16:58: Warum habt ihr euch genau auf den Medizinbereich spezialisiert?

00:17:02: Carlson und ich, mein Co-Foundar ... Wir sind vor einigen Jahren zusammengekommen und haben uns überlegt, was könnten wir jetzt mit unserem Know-how auskunden.

00:17:11: Und es war immer die Idee dass wir damit einen Impact bei einer sehr großen Anzahl von Menschen haben.

00:17:19: Deswegen ist die Medizin als Anwendungsdomäne sehr naheliegend.

00:17:22: Wir sind dann losgezogen und haben bestimmt über hundert Interviews geführt mit Leuten aus der Fahrindustrie, aus der Versorgung oder aus der Forschung, die uns alle von ihrem Problem erzählt haben quasi auf das Problem von der Evidenzentilsel geschopst haben.

00:17:39: Und dann gesehen, okay, dass ist ein Problem, was im Grunde genommen ja ein informationstechnisches Problem ist weil es um Textverarbeitung geht und die Interpretationen der Ergebnisse.

00:17:48: dafür bräuchte man sehr viel Domänenwissen also müsste sehr gut ausgebildet sein in dem jeweiligen Bereich.

00:17:54: Das ist aber etwas was wir dann nicht mitbringen müssen weil wir eben die Plattform anbieten damit die gut ausgebildeten Leute um sich wieder mehr auf die Interpretation der Ergebnisse zu konzentrieren als auf die Extrektion von einzelnen Datenpunkten in irgendwelche Tabellen.

00:18:14: Und deswegen haben wir gesagt, okay das ist eine Lösung, die einen sehr großen Mehrwert hatte für sehr viele Menschen da draußen.

00:18:23: Es geht ja im Endeffekt darum was gerade vielleicht evidenzbasierte medizinische Versorgung angeht.

00:18:29: es geht darum dass die Forschung und Entwicklung in der Farmindustrie schneller vonstatten geht.

00:18:35: Von bis sind da der Kreativität der Anwender keine Grenzen gesetzt, überall da wo evidenzbasierte Entscheidungen hilfreich wären um informierte Entscheidungszutreffen.

00:18:45: so sind wir quasi auf das Thema gekommen

00:18:47: Und was habt ihr für Feedback bisher bekommen?

00:18:50: Wir sind seit knapp sieben Monaten gegründet und haben damit jetzt die ersten Pilotprojekte sind teilweise auch schon beendet und die Reviews, die wir für unsere Partner gemacht haben, sind auch bei verschiedenen Regulierungsbehörden mittlerweile auch so durchgegangen.

00:19:08: Wir bringen mit einem unserer großen Farm-Partnern demnächst eine Studie raus, wo wir quasi die Methodologie mitgeschrieben haben haben wir also gemerkt, dass die Resonanz bislang gerade auf Industrieseiten sehr positiv ist.

00:19:25: Ich hatte Eingangs erwähnt, dass wir das jetzt auch mit unabhängigen Forschern aus Deutschland heraus nochmal parallel aufziehen.

00:19:31: Da kann ich noch keine Aussage zu den Ergebnissen treffen weil wir da gerade an den Anfängen sind.

00:19:35: aber auf Industrieseite sieht es ziemlich gut aus und wir benchmarken uns natürlich immer gegen den Menschen.

00:19:41: Und teilweise ist es auch ausgekommen, dass Studien inkludiert haben, die der Mensch exkludiert hat was dann aber das Ergebnis am Ende verändert hat.

00:19:49: Und das war ein sehr interessantes Ergebnis, auch von uns so zu sehen.

00:19:54: Trotzdem schreibt ihr auf eurer Website ja auch, dass der Mensch immer im Loop bleibt?

00:19:58: Genau!

00:19:59: Der Mensch ist immer mit eingebunden.

00:20:01: Warum ist es so wichtig?

00:20:02: Also wenn wir das Ganze einmal aus regulatorischer Sicht irgendwie uns anschauen dann gibt es da schon die ersten Positionspapiere von den führenden Organisationen aus der erwähnt spazierten Medizin und diese sagen Also die Evidenz-Synthese als solche muss immer reproduzierbar sein, muss immer robust sein.

00:20:21: Muss auditierbar sein.

00:20:23: also es muss quasi auch jeder kritischen Untersuchung irgendwie standhalten.

00:20:27: aber sonst ist das ja keine Evidenzen.

00:20:28: Dementsprechend muss man auch immer Kennzeichnen dass man KI genutzt hat und warum man sie genutze hat.

00:20:34: in welchem Prozessschritt hat man sie benutzt?

00:20:36: Und ich glaube das ist sofern wichtig für uns wie unsere Prozesse auch daran orientieren.

00:20:44: Ich glaube, man muss aber auch unterscheiden für welchen Zweck macht man das genau?

00:20:46: Also aktuell habe ich ja viel davon geredet dass es regulatorisch verpflichtend ist und für Einreichungen andere Dinge.

00:20:52: Aber ich glaube, das wirklich spannende ist was wenn wir also die höchste Form der Evidenz nutzen können Die nicht mehr auf vierundzwanzig Monate dauert sondern vielleicht nur noch vierund zwanzig Stunden Für die interne Entscheidungsfindung in einem Unternehmen.

00:21:04: Wenn es nicht darum geht Dass es methodologisch perfekt sein muss aber wenn es darum geht ein Farmunternehmen besser begreifen möchte, ist das jetzt ein Kandidat für die nächste klinische Phase oder nicht?

00:21:18: Also eine Go- oder Nogo-Entscheidung.

00:21:20: Dass man da einfach noch mehr Informationen zu Rate ziehen kann um eine bessere Entscheidung zu treffen.

00:21:26: Da würde ich sagen muss der Mensch eher weniger am Loop bleiben und es geht natürlich immer um Vertrauen.

00:21:31: also deswegen ist auch so wichtig dass man immer wieder kontinuierliche Benchmarks setzt wo man die eigene Plattform gegenüber den Also mit dem Menschenvergleich und dann auch mit den Menschen plus der Plattform vergleicht, also wie die Performance ist.

00:21:46: Und ich glaube da wird sich aber im Zeitverlauf noch einiges ändern gerade weil die großen Modelle immer besser werden.

00:21:52: Was sagt du zu der Gefahr von De-Skilling?

00:21:55: Dass sie sich damit beschäftigen dann irgendwann nicht mehr in der Lage sind selber so einen Review zu machen

00:22:02: zum Beispiel?

00:22:03: Also ich sehe das ehrlich gesagt konträr und zwar dass es In-Tool upskilling ist.

00:22:08: Gerade Weil die Tools, die man in der Vergangenheit genutzt hat... Also benutzt man ja schon seit Ewigkeit.

00:22:15: Ganz klassische Excel-Tabellen wo man verschiedene Datenpunkte extrahiert und die dann auflistet dass man da statistisch Analysen über Air fährt.

00:22:26: Ich glaube nicht, dass die Menschen, die heute an Evidenzynthese arbeiten für immer das gleiche Toolset benötigen.

00:22:36: Also ich glaube, das wird sich in der Zukunft verändern einfach weil die technischen Möglichkeiten sich auch verändern.

00:22:41: Ich würde aber sagen dass es weniger eine Gefahr ist, dass Leute, die in diesem Bereich aktiv sind irgendwann keinen Job mehr finden.

00:22:47: Ich glaube sie sind gefragter Daniel.

00:22:50: Das ist zumindest das was wir von vielen Beratungen mitbekommen haben, dass sie mehr solcher Reviews durchführen würden wenn Sie könnten.

00:22:56: Es ihnen aber an den Ressourcen fehlt also an Personal diese durchzuführen und deswegen glaube Man mit der Technologie diese Leute eher befreit sich auf das zu konzentrieren worauf es eigentlich wirklich ankommt also wirklich die Synthese und die Interpretation der Ergebnisse und weniger ein bloßes Marken von relevant oder irrelevant.

00:23:15: Oder folgendes schlossische Messgröße auf Seite zwölf irgendwie in an excitable zu überführen.

00:23:20: untersucht ihr dass eigentlich dann auch wissenschaftlich?

00:23:22: was evaluiert ihr da selbst?

00:23:25: ja also wir haben natürlich intern evolutions pipelines wo wir ich sage mal Goldstandard-Datensätze vergleichen, also wenn wir das jetzt in Input und Output Faktoren irgendwie denken.

00:23:38: Also mit welchen Inputfaktoren kommen wir an?

00:23:40: welche Outputfakteur?

00:23:41: Und dann haben wir da hingehend Datensätze, mit denen wir das vergleiche und Benchmarken können aber natürlich auch in regelmäßigen Abständen, um dass wir doch zukünftig dabei sein, dass wir das immer wieder mit unabhängigen Wissenschaftlern machen weil es gibt natürlich immer die Argumentation, dass man sagen könnte folgende Publikationen sind bereits in das Trainingsdaten-Set, der KI eingespeist und dementsprechend ändert sich quasi daran.

00:24:09: Deswegen ist es halt sehr wichtig dass man das mit neuen Publikationsmacht die vielleicht noch nicht veröffentlicht worden

00:24:14: sind oder ganz fachfremden?

00:24:16: Ja, vielleicht ne aber ich glaube wir fokussieren uns ja immer auf die Life Sciences also wir machen jetzt keine Reviews im jene Physik oder ähnlichen.

00:24:24: Aber ja vielleicht gibt's ja auch verwandte Themen wo es funktionieren könnte.

00:24:28: Da bin ich mal gespannt auf die kommenden Studien- und Pilotstudienergebnisse.

00:24:33: Das ist ja ein bisschen was unterschiedliches.

00:24:37: Ja, also das eine, diese Pilotstudie Ergebnisse sind quasi mit unseren Industriepartnern gemacht Und typischerweise fangen wir immer mit einem Piloten an.

00:24:47: Also der Pilot sieht so aus dass wir eine Review, die sie gemacht haben replizieren um dann quasi so einen Return on Investment Case aufzumachen wo wir dann aufzeigen können hey ihr habt So und so viel Zeit dafür benötigt, folgende Ergebnisse dafür als Output generiert.

00:25:01: Und dann können wir unsere Ergebnisse darüber legen und sagen okay wie haben jetzt vielleicht einen Bruchteil derzeit gebraucht?

00:25:06: Dafür aber, ähm, acht neunzig Prozent der Ergebnisse generieren.

00:25:10: oder das ist auch sehr spannend für uns zu lernen wo gibt es denn Unterschiede?

00:25:14: Gibt es denn ein Problem mit der KI?

00:25:16: Oder hat der Mensch vielleicht ein Fehler gemacht?

00:25:18: und deswegen ist es so wichtig dass da der Mensch halt immer im Loop ist um das entsprechend auch zu auditieren.

00:25:25: Und unsere Aufgabe als Technologieanbieter ist es, den Menschen dazu zu bewegen diese Unterschiede so schnell wie möglich ersichtlich zu machen weil die sie dann sofort sehen können okay wo ist die KI sich unsicher an?

00:25:38: Also wo gibt's vielleicht nun einen Konfidenzwert von dreißig Prozent.

00:25:40: und woran liegt das?

00:25:42: typischerweise?

00:25:43: vielleicht weil das Protokoll am Anfang vielleicht etwas Interpretationsspielraum mit Einfließen gelassen hat.

00:25:51: Dann würde man vielleicht entsprechend iterieren und dann sagen, wenn wir das Protokoll so angepasst hätten.

00:25:57: Was hätten wir dann Vergebnisse ausbekommen?

00:26:01: Die dann vielleicht näher sind an dem was sie dann vielleicht hatten.

00:26:04: Genau also das auf der einen Seite.

00:26:07: Das sind diese Pilotstudien, das sind eher so interne Benchmarks.

00:26:09: Und dann gibt es noch die wirklichen Studien, die wir mit Lehrstühlen hier in Deutschland machen.

00:26:15: dass da noch öffentlich wird

00:26:19: Ja mal sehen was da rauskommt klingt ja sehr vielversprechend.

00:26:23: Danke, dass ich hier sein durfte

00:26:27: und

00:26:28: hat mich gefreut.

00:26:28: dann vielleicht bis zum nächsten Mal.

00:26:31: Mach's gut!