Prof. Dr. Charlotte Schmitt-Leonardy, Professor | Universität Bielefeld
KI - Strafverfahren - Palantir - Gesellschaft für Freiheitsrechte (GFF) - Verfassungsbeschwerde - Bundesverfassungsgericht - Big Data - Diskriminierung - Bias - Transparenz - Ermittlungsverfahren - Menschliche Entscheidung - Effizienz - Hessen - Nordrhein-Westfalen - § 153 StPO - § 153a StPO - Prompting
In der 244. Episode von Irgendwas mit Recht begrüßt Marc Prof. Charlotte Schmitt-Leonardy (Uni Bielefeld) und Jürgen Bering von der Gesellschaft für Freiheitsrechte (GFF). Die drei diskutieren live vom Anwaltstag in Bielefeld über das Thema Künstliche Intelligenz (KI) in Strafverfahren, insbesondere im Zusammenhang mit der umstrittenen Software Palantir. Jürgen erklärt die Bedenken der GFF und deren Verfassungsbeschwerde gegen den Einsatz von Palantir, die das Bundesverfassungsgericht in weiten Teilen bestätigte. Sie beleuchten, wie die Software große Datenmengen kombiniert und sensible Daten verarbeitet, was zu Diskriminierung und mangelnder Transparenz führen kann. Charlotte betont die Risiken und Unwägbarkeiten von KI, insbesondere die Gefahr von Verzerrungen und die Bedeutung der menschlichen Entscheidung im Strafverfahren. Die Diskussion behandelt ebenso die Frage, wie der Rechtsmarkt auf diese Herausforderungen reagieren sollte. Viel Spaß!
Viel Spaß 🎉 und vielen Dank für Euer Feedback! 🙏🏼
Die Universität Bielefeld ist eine junge Campus-Universität in Nordrhein-Westfalen mit gut 3.500 Beschäftigten, sowie rund 25.000 Studierenden. Sie verbindet 13 Fakultäten unter einem Dach – darunter eine engagierte Rechtswissenschaft, die Lehrende und Lernende interdisziplinär mit Informatik, Soziologie oder KI-Forschung vernetzt. Bekannt ist die Uni für ihr lichtdurchflutetes Hauptgebäude, moderne Tenure-Track-Strukturen und einen offenen, forschungsfreudigen Spirit.
Warum das auch für deine juristische Karriere spannend ist, erfährst du im Podcast – hör doch gleich in unsere IMR-Folgen mit der Uni Bielefeld rein!
Prof. Dr. Henning Radtke | Prof. Dr. Charlotte Schmitt-Leonardy
Prof. Dr. Charlotte Schmitt-Leonardy , Professor
Prof. Dr. Anne Sanders | Prof. Dr. Caroline Meller-Hannich | Prof. Dr. Anne-Christin Mittwoch
Prof. Dr. Charlotte Schmitt-Leonardy , Professor
Prof. Dr. Charlotte Schmitt-Leonardy , Professor
Schon mit Blick auf die Unschuldsvermutung bleibt der Einsatz von KI in Strafverfahren fraglich
KI-basiert und kann Fehler enthalten.
Manchmal passieren ja lustige Dinge im Vorgespräch. Herzlich willkommen zu einer neuen Episode Irgendwas mit Recht mit unter anderem Charlotte Schmidt-Leonardi. Hallo Charlotte.
Hallo Marc.
Wir hatten hier nämlich gerade ein kleines Tonproblem und sie sagte, ja Marc, da musst du einfach KI einsetzen.
Dann geht das weg.
Ich würde sagen, wenn es denn so einfach wäre. Wir sind aber heute nicht nur zu zweit, sondern zu dritt. Jürgen Behring von der Gesellschaft für Freiheitsrechte, die wahrscheinlich viele von euch kennen dürften, ist auch da. Hallo Jürgen.
Hallo, danke für die Einladung.
Danke, dass du der gefolgt bist. Und zwar sozusagen, wir gucken gerade hier in der Stadthalle Bielefeld nach oben von einem Sitzungsraum, in dem wir zusammen eben auf einem Panel waren, moderiert von dir, Charlotte. Und wir haben uns gedacht, wir gucken mal, wie das so klappt, als kleines Spezialformat live vom Anwaltstag hier so ein Recap zu machen zu unserer Diskussion.
Kann sein, das wird total langweilig, dann schreibt uns. Kann sein, das ist total cool, dann schreibt uns bitte auch, weil wir gerne erreichen möchten, dass wir auch den Menschen, die gerade hier nicht am Anwaltstag von euch sein wollten, sein konnten, die Möglichkeit zu geben, an unserem Thema so ein bisschen teilzuhaben.
Und das Thema ist im ganz Groben, steht ja auch drüber über dem Podcast, KI in Strafverfahren und ein kleines bisschen Palantir. Wir haben eben schon viel darüber gesprochen. Naja, man darf nicht sich über eine Software unterhalten.
Man muss sich über die zugrunde legenden Themen unterhalten. Aber Jürgen, vielleicht fangen wir dort erstmal an, um auch die Zuhörenden ein bisschen abzuholen. Ihr habt mit der GFF, der Gesellschaft für Freiheitsrechte, geklagt im Zusammenhang mit Palantir.
Was ist denn da eigentlich in der Vergangenheit passiert? Genau.
Palantir ist ein US-amerikanisches Unternehmen. Die haben eine Software mit Namen Gotham und der Gedanke dieser Software ist, dass wenn man sehr viele Daten hat, dass die einfach kombiniert werden können und dass man dann neue Erkenntnisse bekommt. Das hört sich erstmal vielleicht gar nicht so schlimm an, wenn man dann aber überlegt, wie groß diese Datentöpfe eigentlich sind und was da auch für sensible Daten drin sein können und dass es halt auch wirklich fast alle von uns einfach betrifft, die Daten, auf die da zugeriffen werden kann, dann merkt man schnell, dass da auch sehr, sehr sensible, sehr, sehr krasse Informationen herauskommen können, dass man quasi ganze Profilbilder von Menschen erstellen kann.
Und das eben mit einer Software, bei der wir auch nicht ganz genau wissen, wie sie funktioniert. Das heißt, man hat da auch einfach dann einige Probleme, was so Diskriminierung zum Beispiel angeht. Und vor dem Hintergrund haben wir dann Verfassungsbeschwerde eingereicht gegen die Vorschrift, die das erlaubt, Und das Bundesverfassungsgericht hat uns da auch in weiten Teilen dann recht gegeben.
Wann war das?
Das war vor gut einem Jahr, als die Entscheidung gekommen ist. Und im Kern ging es dann darum, okay, was sind eigentlich die Voraussetzungen, wann es eingesetzt werden kann? Aber es ging auch noch ein bisschen darüber hinaus, was ist eigentlich KI? Wann darf die eingesetzt werden? Was muss da berücksichtigt werden? Auch was für Daten zum Beispiel, wie rückt sich das aus, dass da eben so große Daten im Topf dann sind?
Weil wir im Prinzip zwei Themen haben. Wir haben einmal so die Frage, welche Datenpunkte dürfen zusammengeführt werden. Ich sage mal im ganz großen Sinne Big Data Datenmanagement und das Thema, was darf man dann mit diesen Daten machen, welche Rückschlüsse darf man darauf basieren, Stichwort KI, im ganz Groben.
Ganz genau. Beides war dann Thema. Das Bundesverfassungsgericht hat im Kern dann gesagt, ja, okay, ihr dürft schon auch solche Software einsetzen unter sehr restriktiven Bedingungen. Wenn ihr aber sozusagen das auch weiter einsetzen wollt, dann müsst ihr an den entsprechenden Schrauben drehen.
Das heißt einmal vielleicht weniger Daten, aber dann vielleicht auch eben nicht unbedingt KI, sondern vielleicht eher eine einfachere Software, die dann halt vielleicht einfach nur einen einfachen Abgleich zum Beispiel ermöglicht.
Charlotte, woran denkst du bei diesem Thema, wenn du das Ganze hörst? Oh je, Palantir, KI im Strafverfahren. Welche Themen klingeln da?
Naja, das, was heute Morgen vor allen Dingen mir im Vordergrund schien, war das Heilsversprechen. Also da wurde von KI-Experten eine Welt gezeichnet, die effizient ist, die zielführend ermittelt, die Ressourcen schont. Und dieses Tech-Solutionism, Heilsversprechen kann mit Sicherheit helfen.
Die Strafverfolgung effizienter machen, aber auch, und das hat Jürgen Behring ganz zu Recht unterstrichen, mit Risiken versehen, die wir heute, und das scheint mir ein ganz wichtiger Punkt, die wir gar nicht alle benennen können, die wir noch nicht mal antizipieren können. Wir stellen fest, dass KI manchmal halluziniert.
Das ist etwas, das wir in den Medien gelesen haben. Wir haben darüber gesprochen, dass teilweise dieses Garbage-in-Garbage-out-Prinzip, also was an Vorurteilen reinkommt, das kommt dann unten bei der KI auch wieder raus. Aber wir haben jede Menge Tendenzen, Entscheidungspriorisierungen und Blackbox-Phänomene, die wir gar nicht erst antizipieren können.
Und ich mache mir Sorgen, was das dann im Ermittlungsverfahren gegenüber dem Verdächtigen machen wird. Was das grundsätzlich auch mit der Verdachtsgenese machen wird, denn die KI setzt ja so ein Stück weit vorher an, optimalerweise. Ich habe allerdings auch gelernt und da wirst du uns einiges dazu sagen, Marc, dass nicht alles KI ist, was jetzt KI heißt, sondern teilweise ist es einfach diese Datenauswertung in automatisierter Form, die kaum mehr nachvollziehbar ist.
Ist, aber letztlich sprechen wir hier von Vorfeldprämissen, die bestenfalls opak, undurchsichtig. Schlechtestenfalls mit Vorurteilen behaftet, mit Fehlern behaftet sind. Und das macht mir so ein Stück weit Sorgen oder zumindest, glaube ich, parallel zu dem Diskurs, ist es jetzt KI oder nicht? Und da müsstest du uns mal nochmal erklären, um was es da geht.
Müssen wir uns dem größeren Diskurs stellen, was macht KI dann mit dem, was vielleicht schon ein bisschen schief steht im Strafverfahren, vielleicht auch mit unseren eigenen Verzerrungen. Vielleicht ist das auch noch mal die Gelegenheit daran zu erinnern, dass wir ja im Strafverfahren.
Schon auch systemische Effekte haben, an die ich zumindest ein Fragezeichen machen würde. Also selbst wenn die KI den Verdacht nicht generiert, sondern Kriminalbeamter, dann sind die Kriminalbeamtinnen und Beamten, die Staatsanwältinnen und Staatsanwälte mit sicherlich ganz hehren Motivationen damit beschäftigt, möglichst schnell den Verdächtigen zu finden, den Tatverdacht zu verdichten, zu fokussieren.
Und dann passiert es uns allen, wenn wir uns auf etwas einschießen, dann neigen wir dazu, anderes auszublenden. Man nennt das, also da gibt es alle möglichen psychologisch sehr erforschte Effekte, Verzerrungseffekte, Confirmation Bias, um nur zwei Stichworte zu nennen. Das sind Dinge, die schon die Ermittlungsarbeit prägen, die relativ umstandslos in die staatsanwaltschaftlichen Schlussfolgerungen transportiert werden.
Weil im Ermittlungsverfahren die Strafverteidigung nicht so viel reingrätschen darf, wie es vielleicht sinnvoll sein könnte. Und die dann im Zwischenverfahren zwar einem Plausibilitätscheck unterzogen werden durch einen Richter, der dann sagt, okay, das reicht mir jetzt, was ihr so habt in eurer Anklage, aber von einem Richter, einem Menschen sozusagen diesen Plausibilitätscheck unterzogen wird, der dann der gleiche Mensch ist, der auch in der Hauptverhandlung in dieser Sache entscheidet.
Das heißt, man kann sich unschwer vorstellen, dass die Ermittlungshypothese nicht sehr früh sehr stark gestört wird. Und das heißt, alle Verzerrungseffekte, Inertiaeffekt können so ein Stück weit drinbleiben. Wenn jetzt die KI am Anfang noch diesen Verdacht und diese Ermittlungshypothese stärkt und wir nicht so genau wissen, warum sie zu dieser Hypothese kommt, zu diesem Verdacht kommt, dann mache ich mir schon Sorgen, was in der Hauptverhandlung ankommen könnte, wenn wir nicht jetzt kritisch genug all das reflektieren.
Ja, vielleicht zu dem Punkt, den du gerade schon angedeutet hast. Die Frage ist natürlich immer, was ist jetzt KI und was sind auch einfach nur in Anführungszeichen Daten? Wenn wir sagen, wir brauchen eine bessere Suche in irgendeiner Online-Datenbank, das ist so das, was mir gerade alle entgegenwerfen, wenn sie sagen, ja, ich will, dass das mit KI gemacht wird, dann ist das eigentlich kein KI-Thema.
Dann ist das eine Frage von guter Suche. Das hat Google jetzt sehr, sehr holzschnittartig alles über die letzten Jahrzehnte gelöst. Ja, da brauchen wir keine KI für. Wenn wir aber sagen, okay, wir haben vielleicht bei Back-Online-Juris, wem auch immer, Fachinformationen zum Thema Arbeitsrechte und wir wollen eine Kündigung schreiben, dann braucht man vielleicht davon was und dann wirft die KI basierend auf diesen Fachinformationen eben das entsprechende Schreiben schon mal aus, den ersten Entwurf.
Ähnlich könnte man sich das ja im Strafverfahren vorstellen, dass man sagt, okay, wir haben jetzt hier vielleicht, in einem ganz einfachen Fall, einen Einstellungsbescheid oder nicht. Also eine Einstellung, ob wir ein Verfahren einstellen, was ist das, 153, 153a, wenn ich mich nicht ganz täusche.
Gegen Auflagen. Gegen Auflage.
Und da könnte man sagen, okay, wir haben jetzt eine bestimmte Sache zusammen oder Fakten. Die sind erstmal, dafür brauchen wir keine KI. Aber jetzt diese Schlussfolgerung zu ziehen, geben diese Fakten denn eine Einstellung vielleicht gegen Auflagen her oder nicht? Oder müssen wir nicht vielleicht weitermachen im Verfahren? Das wäre ja schon eine ganz andere Hausnummer auf gut Deutsch.
Wir sind uns aber doch wahrscheinlich einig. Ich glaube, so kann man es auch, Jürgen, zusammenfassen, was wir vorhin im Panel so besprochen haben. Und da müssten wir unsere Zuhörer gegebenenfalls nochmal abholen, dass diese Entscheidung jedenfalls immer ein Mensch treffen muss, oder?
Genau, die Entscheidung muss immer ein Mensch treffen und das ist aber auch jetzt schon rechtlich häufig so vorgesehen. Das Problem ist aber am Ende des Tages trotzdem, was macht der Mensch dann am Ende des Tages noch? Also wir sehen das ja ein bisschen vielleicht auch bei der Schufa jetzt auch ein bisschen in einem anderen Bereich.
Wenn eine Schufa-Auskunft sagt, nicht kreditwürdig, welche Bank sagt dann noch, ach, das mache ich doch mal ganz anders. Also das heißt sozusagen, wenn da was rauskommt, wir haben eben doch eine gewisse Technikgläubigkeit, Und ganz selten gibt es tatsächlich Menschen, die dann nochmal sagen, ich überprüfe das jetzt nochmal anders oder ich mache es einfach anders.
Und die zweite Frage, die sich dann noch eben immer stellt, ist, wie gut erklärt uns eigentlich die KI, wie sie zu dieser Schlussfolgerung kommen muss, damit das überhaupt überprüfbar ist?
Das ist so ein bisschen wie die Referendarin, der Referendar, der mal zu Hause, die mal zu Hause eine Akte bearbeiten sollte. Dann heißt es ja auch nicht, ist zu 78 Prozent korrekt, sondern da gibt es eben gutes Feedback.
Ja, so ist es in der Tat. Das heißt, die KI sagt uns nicht, erklärt uns nicht, wie sie dazu gekommen ist. Und selbst wenn sie es tut, kriegen wir vielleicht nur eine plausible Erklärung, die aber nicht unbedingt wahr ist.
Auch das ist etwas, das ich jetzt im letzten Panel gelernt habe, dass es die sogenannten Placebo-Erklärungen von Google gibt, die kontrovers sind und auch lieber nicht thematisiert werden sollten aus Perspektive von Google. Also die Plausibilität ist ja etwas, das den entscheidenden Menschen auch erstmal bestärken kann und trotzdem können wir sozusagen ganz knapp, aber genauso auf der falschen Seite der Geschichte stehend am Ziel vorbeischrauben.
Das heißt, das sind schon erhebliche Risiken aus meiner Sicht, die wir mit dem Einsatz von KI, das wäre ja dann sozusagen das nächste zu antizipierende Kapitel, eingehen. Aber die wir eigentlich jetzt schon, das ist vielleicht eine Frage an euch beide, die wir eigentlich jetzt schon mit auf dem Schirm haben sollten, denn vielleicht an Jürgen Behring, das klingt ja dann alles ein bisschen besser, harmloser.
Wenn wir hören, dass Palantir eigentlich, ich glaube, ich hatte es so gelernt, eine Art Übersetzungstool ist, das ist eine automatisierte Datenauswertung, die in schneller Zeit Verknüpfungen herstellt, aber im Grunde nur von IT-Systemen, die nicht miteinander sprechen. Also letztlich so eine Art Übersetzung.
Und das klingt dann auch alles gar nicht so schlimm, solange es nicht zu prognostischen Zwecken eingesetzt wird. Aber das stimmt ja eigentlich gar nicht so recht, oder?
Genau, das war eben nochmal sehr spannend bei den beiden Panels heute Morgen, dass sehr unterschiedlich betrachtet wurde, was eigentlich diese Software macht. Auch, muss man dazu sagen, ich zum Beispiel habe die Software selbst nie gesehen, aber auch zwei Personen, die die Software gesehen haben, haben sich gegenseitig widersprochen.
Das finde ich auch interessant.
Was alles im Hintergrund passiert... Und kriegt dann eben auch gar nicht mit, dass da vielleicht doch irgendwie auch Entscheidungen getroffen wurden, die man besser mal erklärt hätte bekommen müssen.
Mhm.
Ja, das ist natürlich auch relativ verlockend im Bereich, wo wir Fachkräftemangel haben, wo wir in kurzer Zeit viele Entscheidungen treffen müssen, zu sagen, ja gut, dann lass das doch einfach den Computer machen. Wie müssten wir uns im Rechtsmarkt anders aufstellen, damit das nicht passiert, damit wir sozusagen, wir hatten da heute Mittag auch so ein bisschen den Wettbewerbsdruck diskutiert, der jedenfalls natürlich in der Privatwirtschaft herrscht, KI-Tools einzusetzen.
Aber wir haben ja im Strafverfahren zwar einen Anspruch auf ein möglichst schnelles und faires Verfahren, aber wir haben ja keine Art von mehreren Strafbehörden, die miteinander konkurrieren, wer das bessere Strafverfahren anbieten kann. Vielleicht haben wir da also gar nicht so diesen echten Druck, wie das zum Beispiel jetzt ist in der Verlagswelt, wo ich tätig bin, wo man sagt, ja gut, hier muss jetzt was passieren.
Woher kommt das, Charlotte? Ist es mehr Neugierde oder ist es dieses Heilsversprechen, dass man sagt, nein, also es kann aber einfach alles leichter werden?
Das finde ich eine total spannende Frage, die auch aus meiner Sicht direkt schon mehrere ganz unterschiedliche Ebenen hat. Ich glaube, wir haben dieses Druckthema, seitdem wir über Bundeswehrer nachdenken. Also seitdem und jetzt gerade kürzlich vor einem Monat hat die CDU-CSU-Fraktion eben einen entsprechenden Antrag formuliert, weil Bundeswehrer auf dem so oft genannten System Palantir, das eben einen US-Bezug, manche betonen einen CIA-Bezug, auch hat.
Und damit mit einem privaten amerikanischen Anbieter verbunden ist, der in unser Strafverfahren hineinwirken könnte, der vielleicht auch Daten abzieht. Auch da waren die Teilnehmenden heute kontrovers. Also das geht, das lässt sich abschalten, das lässt sich auf gar keinen Fall abschalten.
Ich dachte immer nur, wenn Trump gewählt wird, bin ich wirklich dankbar, wenn wir kein US-amerikanisches Unternehmen in diesem Bereich haben. Das heißt, wir haben ein Stück weit diesen kompetitiven Aspekt im Hinblick auf den. Den zuverlässigen Anbieter vielleicht.
Und da habe ich die Diskussion so verstanden, dass vielleicht Deutschland noch nicht so weit ist, einen qualitativ gleichwertigen Anbieter bei Erfüllung unserer strengeren rechtlichen Rahmenbedingungen anzubieten. Nachdem ich das gehört habe, ist mein anderes Heimatland Frankreich diesen Schritt wohl schon gegangen.
Die haben Palantir klar abgelehnt und la Grande Nation hat irgendeine Lösung. Vielleicht finden wir im Dialog zwischen Deutschland und Frankreich eine Lösung. Also das heißt, ich glaube schon, dass diese Frage eine Rolle spielt.
Eine andere Ebene scheint mir zu sein, dass in dieser Diskussion Effizienz im Strafverfahren uns treibt. Und das liegt daran, dass wir vielleicht auch nicht bereit sind, Ressourcen einzusetzen. Das ist ja wirklich, statt der vielen Polizisten, die man dann auch noch rechtsstaatlich schulen muss, und der Staatsanwälte und der Justizressourcen, die man mal aufstocken müsste, um wirklich rechtsstaatliche, realistische, also sozusagen in Zeitfenstern realistische.
Qualitativ hochwertige Strafverfahren zu leisten, haben wir jetzt KI und das wird das alles schneller und besser machen. Und da finde ich aber, sollten wir uns sozusagen nochmal Grundfragen stellen, was ist denn dann das Bessere? Also irgendjemand heute Morgen hatte gesagt, wir wollen ja alle eine bessere Welt und da dachte ich so, ja was ist denn die bessere Welt? Ist das die effizientere Welt oder ist das vielleicht zum Beispiel die Strafverfahrenswelt, die es schafft, die Unschuldsvermutung mit zu priorisieren, die es schafft, die Fehlerquote drastisch zu senken? Ist das die bessere Welt? Dann reden wir nämlich über eine ganz andere Welt.
Genau und natürlich ist es auch irgendwie teilweise nur eine versprochene Effizienz, die auch mit KI einhergeht. Also teilweise wirkt es wie so eine relativ einfache Sache, wo man sagen kann, okay, wir haben mehr Technik, dann muss es auch besser sein. Vielleicht kommt dieser Wettbewerb auch ein bisschen eher dann politisch einfach sozusagen.
Es ist etwas, was einfach verkauft werden kann, aber dann stimme ich dir vollkommen zu. Wahrscheinlich sollten wir uns auch mal ganz andere Fragen stellen und eben nicht auf diese sehr einfachen Antworten springen, die am Ende des Tages wahrscheinlich auch gar nicht das halten, was sie versprechen.
Ich würde mal gerade ein kleines Zwischenfazit ziehen wollen. Das ist nämlich, glaube ich, etwas, was der Rechtsmarkt so noch nicht unbedingt gesehen hat. In den letzten Jahren, wenn es um Strafrecht und KI ging, ging es um Strafzumessung, automatisiert mit irgendeinem KI-Tool, wo ein paar Daten reingeflossen waren und dann konnte man einfacher sagen, ja, das sind jetzt so und so viele Monate bei so und so viel Vorstrafen und dem und dem Delikt und wie auch immer.
Wichtiges Projekt, aber wir merken jetzt hier gerade, finde ich, dass im Strafrecht KI auf einen grundrechtlich ganz besonders geschützten Bereich logischerweise trifft, der wirklich, ich will nicht sagen, mitsamt Handschuhen angefasst werden muss, das wäre übertrieben, aber doch sehr eingehender Prüfung bedarf. Anders als beispielsweise, wenn ich jetzt sage, ich bin eine wirtschaftsberatende Kanzlei und ich mache meine Due Diligence effizienter, dann mache ich das hoffentlich ordentlich und produziere keine Haftungsfälle, aber da ist die Sachlage eine ganz andere, das muss man einfach so sehen.
Jürgen, weil da ja auch schon so einiges kommt, du hast es eben schon so ein bisschen als fast schon Teaser verraten, seid ihr mit der GFF natürlich auch weiterhin da ziemlich aktiv, ne?
Genau, also wir hatten ja Erfolg in Bezug auf das erste Gesetz in Hessen, bereiten da jetzt schon aber das nächste Gesetz vor, also die nächste Verfassungsbeschwerde vor, weil das Gesetz nachgebessert wurde, unserer Ansicht aber nicht gut genug. Gleichzeitig haben wir auch noch ein weiteres Verfassungsbeschwerdeverfahren anhängig gegen den Einsatz in Nordrhein-Westfalen.
Und das wird gut laufen? Natürlich wird das gut laufen.
Also man muss dazu sagen, das Bundesverfassungsgericht... Gewisse Dinge klar aufgezeigt. Die halten die Gesetze unserer Ansicht nach offensichtlich nicht ein. Es gibt aber auch einfach noch ein paar Graubereiche und ich glaube, da wäre allen Beteiligten auch einfach geholfen, wenn noch ein bisschen klarer ausgestaltet wird, was ist eigentlich möglich und was ist auch nicht möglich.
Das heißt, der Diskurs, bevor da einiges in Gesetze gegossen wird, ist noch früh genug dran gerade und kann noch helfen und sollte auf jeden Fall aufrechterhalten werden?
Das hoffen wir auf jeden Fall. Gleichzeitig ist es immer noch und die erste Entscheidung Die Entscheidung im Bereich Hessendata, also die erste Parlamentarierentscheidung, das war das erste Mal, dass das Bundesverfassungsgericht was zur KI gesagt hat. Das ist jetzt ein Jahr her und wenn man sich überlegt, kann man auch sagen, vielleicht hätte das doch schon mal drei, vier Jahre früher kommen sollen, aber wenigstens haben wir jetzt überhaupt was.
Ach, ich weiß schon, dass wir in fünf Jahren auf dieses Gespräch zurückblicken werden und sagen, ach Gott, naja gut, aber es geht halt den Gang der Dinge. Charlotte, was nimmst du von heute mit? Worauf wirst du in Zukunft ganz besonders blicken, wenn du KI in deiner Domäne hörst?
Also ich gehe sehr bereichert aus den Diskussionen hervor und auch aus der Vorbereitung, denn ich bin ja keine KI-Expertin. Ich bin zufälligerweise Professorin in Bielefeld und da fand eben dieses Panel statt. Und ich glaube, ich bin rein in die Diskussion mit einer von der GFF informierten Skepsis, weil tatsächlich mir diese Perspektive sehr gefällt und habe durch den Wortbeitrag von Herrn Sabel vom Bundesjustizministerium mich so ein bisschen auf skeptischen Optimismus eingelassen.
Das heißt, er meinte, ja, die Risiken sind da, aber was ist, wenn KI vielleicht unseren Bias, diese systemischen Schiefstände eher kompensiert, eher auffängt? Und wenn man das weiterdenkt, dann wäre da vielleicht Anlass zu hoffen. Also was ist, wenn wir eine KI dann…, entwickeln, gleich durch diesen Diskurs begleiten, auf den wir heute eigentlich ziemlich schnell konsensorientiert kamen.
Wir brauchen diesen Metadiskurs, wir brauchen diese interdisziplinäre Diskussion. So stehen wir ja jetzt auch hier. Wir fangen, also wir reflektieren direkt. Was brauchen wir? Wir brauchen eine KI, die transparent ist, die begründet, warum sie auf welche Verdachtsmomente gekommen ist und welche Entscheidung getroffen hat.
Wir brauchen eine KI, die den Mensch. Und vielleicht haben wir irgendwann eine KI, die so eine Art Gedankenpartner ist. Das wäre so für mich jetzt so mein utopisches Szenario, was mir so durch den Kopf ging.
Was ist, wenn eine KI zum Beispiel die unwahrscheinliche Unschuldshypothese mit anbieten würde? Also Ermittler, die verständlicherweise in bester Absicht sozusagen versuchen, den Täter zu finden, aber in so einem Login-Modus sind und ihrer Ermittlungshypothese folgen. Was ist, wenn die KI sagen würde, und im Übrigen die unwahrscheinliche Unschuldshypothese könnte auch in diese Richtung gehen.
Wir wissen nicht, wie die Menschen sind.
Wir bräuchten dann aber sozusagen, wenn wir jetzt, bislang haben wir jetzt ja gesprochen, wir brauchen so eine KI und ich würde das jetzt mal differenzieren nach, wir brauchen so eine KI und so einen Prompt, also die Anfrage an die KI.
Kannst du vielleicht nochmal erklären, weil das hattest du mir eben so schön erklärt, was ist denn da der Unterschied? Wir schreiben nichts in die KI, wir formulieren Prompts.
Genau, also wir nehmen mal eine nicht ganz zutreffende Analogie. Wir haben natürlich einen Kommentar zum Strafrecht. Liebe Grüße an Herrn Fischer oder sonst wen. Herzliche Grüße an Herrn Fischer. Und der ist neutral geschrieben.
Sachlich geschrieben.
Und der Prompt ist sozusagen die Frage an diesen Kommentar. Das heißt, wir sagen nicht im Kommentar, by the way, wenn du hier einstellst, um bei dem Beispiel von vorhin zu bleiben, dann bedenke bitte, ob du eventuell einem rassistischen Bias unterliegst oder wenn du nicht einstellst, je nachdem natürlich. Sondern wir sagen, nimm dir mal die objektiven Parameter aus dem Kommentar, aus der KI-Analogie und zwar as they are, aber achte darauf, dass du bei deiner Anfrage an die KI keinem rassistischen Bias unterliegst beispielsweise.
Beispielsweise. Also man könnte formulieren, um in dieser positiven Welt einmal zu bleiben, dass es so eine Art Prompting-Neutralitätsgebot geben könnte. Komme ich jetzt auch gerade ehrlich gesagt spontan drauf. Also ich stelle mir gerade so einen Ermittlungsbeamten vor, bei der Polizei oder bei der Staatsanwaltschaft dann eben der Staatsanwalt.
Der eine KI bedient, der irgendwie mit der interagiert, sagen wir mal, der sagt jetzt, analysiere Daten XYZ, Punkt. Analysiere die Daten von gestern Abend, von der Durchsuchung. Das fragt er die KI.
Dann fragt er das ja nicht wortwörtlich die KI so. Da findet er im Hintergrund eine entsprechende Übersetzung. Ich lasse mal das Technische weg in das statt, was die KI versteht. Jetzt könnte man hier in diesem Übersetzungsprozess theoretisch alle Softwareanbieter, die in diesem geschützten Rahmen der Strafverfolgung tätig sein möchten, verpflichten, diese Übersetzungen immer möglichst neutral, möglichst gegen Biases zu formulieren.
Dass man beispielsweise sowas mitgibt wie, berücksichtige dabei nicht das Geschlecht der Person, berücksichtige, dass überproportional viele Menschen da und da, das muss aber hier keine Auswirkungen haben, weil wir wissen, der Datenbestand ist beispielsweise an der Stelle entsprechend belastet und so weiter und so weiter. Das ist jetzt sehr ins Unreine gesprochen, aber vielleicht in einer Utopie jedenfalls könnte das der erste Ansatz sein.
Hört sich auf jeden Fall erstmal vielversprechend an. Tatsächlich, wenn es wirklich so machbar wäre, super. Da habe ich manchmal noch einfach die Fragen, weil wir wissen ja auch einfach teilweise, dass es Bias gibt. Wir wissen, dass es zu Diskriminierung kommt. Und wir haben halt einfach noch die Probleme, das wirklich auszumerzen. Wer weiß, was die Zukunft da bringt.
Ich würde sagen, dabei belassen wir es mit schönen 25 Minuten. Und erstmal vielen herzlichen Dank, Jürgen. Vielen herzlichen Dank, Charlotte. Und ein kleiner Hinweis, dass man von dir hier bald mehr hört.
Gerade diejenigen, die uns so viele E-Mails geschrieben haben, was eigentlich mit irgendwas mit Examen. Frau Dana Lieb ist nicht weg, aber die kann kein Strafrecht. Deswegen springst du da in Zukunft ein und da freuen wir uns schon sehr drauf.
Alles Gute und danke euch nochmal für eure Anwesenheit hier heute.
Danke. Vielen Dank.