"Schon mit Blick auf die Unschuldsvermutung bleibt der Einsatz von KI in Strafverfahren fraglich"

DAT2024

Folge 244 deines Jura-Podcasts zu Job, Karriere und Examensthemen.

In der 244. Episode von Irgendwas mit Recht begrüßt Marc Prof. Charlotte Schmitt-Leonardy (Uni Bielefeld) und Jürgen Bering von der Gesellschaft für Freiheitsrechte (GFF). Die drei diskutieren live vom Anwaltstag in Bielefeld über das Thema Künstliche Intelligenz (KI) in Strafverfahren, insbesondere im Zusammenhang mit der umstrittenen Software Palantir. Jürgen erklärt die Bedenken der GFF und deren Verfassungsbeschwerde gegen den Einsatz von Palantir, die das Bundesverfassungsgericht in weiten Teilen bestätigte. Sie beleuchten, wie die Software große Datenmengen kombiniert und sensible Daten verarbeitet, was zu Diskriminierung und mangelnder Transparenz führen kann. Charlotte betont die Risiken und Unwägbarkeiten von KI, insbesondere die Gefahr von Verzerrungen und die Bedeutung der menschlichen Entscheidung im Strafverfahren. Die Diskussion behandelt ebenso die Frage, wie der Rechtsmarkt auf diese Herausforderungen reagieren sollte. Viel Spaß!

Inhalt:

  • 00:09 Einführung
  • 00:23 Begrüßung des dritten Gastes
  • 00:36 Live-Recap eines Diskussionspanels
  • 01:30 Klage der GFF im Zusammenhang mit Palantir
  • 02:59 Diskussion über Daten und KI im Kontext von Strafverfahren
  • 03:52 Heilsversprechen und Risiken von KI im Strafverfahren
  • 05:12 Auswirkungen von KI auf Ermittlungsverfahren und Verdachtsgenese
  • 06:22 Systemische Effekte im Strafverfahren und Verzerrungseffekte
  • 08:18 Unterscheidung zwischen KI und automatisierter Datenauswertung
  • 09:44 Notwendigkeit menschlicher Entscheidungen trotz KI-Einsatz
  • 12:20 Kontroverse Diskussion über die Funktionalität von Palantir
  • 14:30 Diskussion über den Einsatz von Palantir in unterschiedlichen Bereichen
  • 16:00 Effizienz vs. Schutz der Grundrechte im Strafverfahren
  • 18:06 Einfluss von KI auf grundrechtlich geschützte Bereiche im Strafrecht
  • 18:42 Aktivitäten der GFF bezüglich Verfassungsbeschwerden gegen KI-Einsatz
  • 20:07 Reflektion über vergangene Diskussionen und zukünftige Entwicklungen in Bezug auf KI
  • 21:41 Vision einer transparenten und begründeten KI in der Zukunft
  • 23:13 Bedeutung von neutralen Prompts für den KI-Einsatz
  • 24:45 Utopische Ideen zur Vermeidung von Biases bei der KI-Nutzung
  • 25:12 Abschluss der Diskussion und Ausblick in die Zukunft

Verwandte Episoden

Feedback/Support zur Folge:

Apps & IMR auf Social Media:

Happy Listening 🎉 und vielen Dank für Euer Feedback! 🙏🏼

Transkript


Charlotte Schmitt-Leonardy 0:00:17
Hallo Marc.
Charlotte Schmitt-Leonardy 0:00:23
Dann geht das weg.
Charlotte Schmitt-Leonardy 0:04:01
Naja, das, was heute Morgen vor allen Dingen mir im Vordergrund schien, war das Heilsversprechen. Also da wurde von KI-Experten eine Welt gezeichnet, die effizient ist, die zielführend ermittelt, die Ressourcen schont. Und dieses Tech-Solutionism, Heilsversprechen kann mit Sicherheit helfen. Die Strafverfolgung effizienter machen, aber auch, und das hat Jürgen Behring ganz zu Recht unterstrichen, mit Risiken versehen, die wir heute, und das scheint mir ein ganz wichtiger Punkt, die wir gar nicht alle benennen können, die wir noch nicht mal antizipieren können. Wir stellen fest, dass KI manchmal halluziniert. Das ist etwas, das wir in den Medien gelesen haben. Wir haben darüber gesprochen, dass teilweise dieses Garbage-in-Garbage-out-Prinzip, also was an Vorurteilen reinkommt, das kommt dann unten bei der KI auch wieder raus. Aber wir haben jede Menge Tendenzen, Entscheidungspriorisierungen und Blackbox-Phänomene, die wir gar nicht erst antizipieren können. Und ich mache mir Sorgen, was das dann im Ermittlungsverfahren gegenüber dem Verdächtigen machen wird. Was das grundsätzlich auch mit der Verdachtsgenese machen wird, denn die KI setzt ja so ein Stück weit vorher an, optimalerweise. Ich habe allerdings auch gelernt und da wirst du uns einiges dazu sagen, Marc, dass nicht alles KI ist, was jetzt KI heißt, sondern teilweise ist es einfach diese Datenauswertung in automatisierter Form, die kaum mehr nachvollziehbar ist. Ist, aber letztlich sprechen wir hier von Vorfeldprämissen, die bestenfalls opak, undurchsichtig. Schlechtestenfalls mit Vorurteilen behaftet, mit Fehlern behaftet sind. Und das macht mir so ein Stück weit Sorgen oder zumindest, glaube ich, parallel zu dem Diskurs, ist es jetzt KI oder nicht? Und da müsstest du uns mal nochmal erklären, um was es da geht. Müssen wir uns dem größeren Diskurs stellen, was macht KI dann mit dem, was vielleicht schon ein bisschen schief steht im Strafverfahren, vielleicht auch mit unseren eigenen Verzerrungen. Vielleicht ist das auch noch mal die Gelegenheit daran zu erinnern, dass wir ja im Strafverfahren. Schon auch systemische Effekte haben, an die ich zumindest ein Fragezeichen machen würde. Also selbst wenn die KI den Verdacht nicht generiert, sondern Kriminalbeamter, dann sind die Kriminalbeamtinnen und Beamten, die Staatsanwältinnen und Staatsanwälte mit sicherlich ganz hehren Motivationen damit beschäftigt, möglichst schnell den Verdächtigen zu finden, den Tatverdacht zu verdichten, zu fokussieren. Und dann passiert es uns allen, wenn wir uns auf etwas einschießen, dann neigen wir dazu, anderes auszublenden. Man nennt das, also da gibt es alle möglichen psychologisch sehr erforschte Effekte, Verzerrungseffekte, Confirmation Bias, um nur zwei Stichworte zu nennen. Das sind Dinge, die schon die Ermittlungsarbeit prägen, die relativ umstandslos in die staatsanwaltschaftlichen Schlussfolgerungen transportiert werden. Weil im Ermittlungsverfahren die Strafverteidigung nicht so viel reingrätschen darf, wie es vielleicht sinnvoll sein könnte. Und die dann im Zwischenverfahren zwar einem Plausibilitätscheck unterzogen werden durch einen Richter, der dann sagt, okay, das reicht mir jetzt, was ihr so habt in eurer Anklage, aber von einem Richter, einem Menschen sozusagen diesen Plausibilitätscheck unterzogen wird, der dann der gleiche Mensch ist, der auch in der Hauptverhandlung in dieser Sache entscheidet. Das heißt, man kann sich unschwer vorstellen, dass die Ermittlungshypothese nicht sehr früh sehr stark gestört wird. Und das heißt, alle Verzerrungseffekte, Inertiaeffekt können so ein Stück weit drinbleiben. Wenn jetzt die KI am Anfang noch diesen Verdacht und diese Ermittlungshypothese stärkt und wir nicht so genau wissen, warum sie zu dieser Hypothese kommt, zu diesem Verdacht kommt, dann mache ich mir schon Sorgen, was in der Hauptverhandlung ankommen könnte, wenn wir nicht jetzt kritisch genug all das reflektieren.
Charlotte Schmitt-Leonardy 0:10:47
Ja, so ist es in der Tat. Das heißt, die KI sagt uns nicht, erklärt uns nicht, wie sie dazu gekommen ist. Und selbst wenn sie es tut, kriegen wir vielleicht nur eine plausible Erklärung, die aber nicht unbedingt wahr ist. Auch das ist etwas, das ich jetzt im letzten Panel gelernt habe, dass es die sogenannten Placebo-Erklärungen von Google gibt, die kontrovers sind und auch lieber nicht thematisiert werden sollten aus Perspektive von Google. Also die Plausibilität ist ja etwas, das den entscheidenden Menschen auch erstmal bestärken kann und trotzdem können wir sozusagen ganz knapp, aber genauso auf der falschen Seite der Geschichte stehend am Ziel vorbeischrauben. Das heißt, das sind schon erhebliche Risiken aus meiner Sicht, die wir mit dem Einsatz von KI, das wäre ja dann sozusagen das nächste zu antizipierende Kapitel, eingehen. Aber die wir eigentlich jetzt schon, das ist vielleicht eine Frage an euch beide, die wir eigentlich jetzt schon mit auf dem Schirm haben sollten, denn vielleicht an Jürgen Behring, das klingt ja dann alles ein bisschen besser, harmloser. Wenn wir hören, dass Palantir eigentlich, ich glaube, ich hatte es so gelernt, eine Art Übersetzungstool ist, das ist eine automatisierte Datenauswertung, die in schneller Zeit Verknüpfungen herstellt, aber im Grunde nur von IT-Systemen, die nicht miteinander sprechen. Also letztlich so eine Art Übersetzung. Und das klingt dann auch alles gar nicht so schlimm, solange es nicht zu prognostischen Zwecken eingesetzt wird. Aber das stimmt ja eigentlich gar nicht so recht, oder?
Charlotte Schmitt-Leonardy 0:13:18
Mhm.
Charlotte Schmitt-Leonardy 0:14:16
Das finde ich eine total spannende Frage, die auch aus meiner Sicht direkt schon mehrere ganz unterschiedliche Ebenen hat. Ich glaube, wir haben dieses Druckthema, seitdem wir über Bundeswehrer nachdenken. Also seitdem und jetzt gerade kürzlich vor einem Monat hat die CDU-CSU-Fraktion eben einen entsprechenden Antrag formuliert, weil Bundeswehrer auf dem so oft genannten System Palantir, das eben einen US-Bezug, manche betonen einen CIA-Bezug, auch hat. Und damit mit einem privaten amerikanischen Anbieter verbunden ist, der in unser Strafverfahren hineinwirken könnte, der vielleicht auch Daten abzieht. Auch da waren die Teilnehmenden heute kontrovers. Also das geht, das lässt sich abschalten, das lässt sich auf gar keinen Fall abschalten. Ich dachte immer nur, wenn Trump gewählt wird, bin ich wirklich dankbar, wenn wir kein US-amerikanisches Unternehmen in diesem Bereich haben. Das heißt, wir haben ein Stück weit diesen kompetitiven Aspekt im Hinblick auf den. Den zuverlässigen Anbieter vielleicht. Und da habe ich die Diskussion so verstanden, dass vielleicht Deutschland noch nicht so weit ist, einen qualitativ gleichwertigen Anbieter bei Erfüllung unserer strengeren rechtlichen Rahmenbedingungen anzubieten. Nachdem ich das gehört habe, ist mein anderes Heimatland Frankreich diesen Schritt wohl schon gegangen. Die haben Palantir klar abgelehnt und la Grande Nation hat irgendeine Lösung. Vielleicht finden wir im Dialog zwischen Deutschland und Frankreich eine Lösung. Also das heißt, ich glaube schon, dass diese Frage eine Rolle spielt. Eine andere Ebene scheint mir zu sein, dass in dieser Diskussion Effizienz im Strafverfahren uns treibt. Und das liegt daran, dass wir vielleicht auch nicht bereit sind, Ressourcen einzusetzen. Das ist ja wirklich, statt der vielen Polizisten, die man dann auch noch rechtsstaatlich schulen muss, und der Staatsanwälte und der Justizressourcen, die man mal aufstocken müsste, um wirklich rechtsstaatliche, realistische, also sozusagen in Zeitfenstern realistische. Qualitativ hochwertige Strafverfahren zu leisten, haben wir jetzt KI und das wird das alles schneller und besser machen. Und da finde ich aber, sollten wir uns sozusagen nochmal Grundfragen stellen, was ist denn dann das Bessere? Also irgendjemand heute Morgen hatte gesagt, wir wollen ja alle eine bessere Welt und da dachte ich so, ja was ist denn die bessere Welt? Ist das die effizientere Welt oder ist das vielleicht zum Beispiel die Strafverfahrenswelt, die es schafft, die Unschuldsvermutung mit zu priorisieren, die es schafft, die Fehlerquote drastisch zu senken? Ist das die bessere Welt? Dann reden wir nämlich über eine ganz andere Welt.
Charlotte Schmitt-Leonardy 0:20:21
Also ich gehe sehr bereichert aus den Diskussionen hervor und auch aus der Vorbereitung, denn ich bin ja keine KI-Expertin. Ich bin zufälligerweise Professorin in Bielefeld und da fand eben dieses Panel statt. Und ich glaube, ich bin rein in die Diskussion mit einer von der GFF informierten Skepsis, weil tatsächlich mir diese Perspektive sehr gefällt und habe durch den Wortbeitrag von Herrn Sabel vom Bundesjustizministerium mich so ein bisschen auf skeptischen Optimismus eingelassen. Das heißt, er meinte, ja, die Risiken sind da, aber was ist, wenn KI vielleicht unseren Bias, diese systemischen Schiefstände eher kompensiert, eher auffängt? Und wenn man das weiterdenkt, dann wäre da vielleicht Anlass zu hoffen. Also was ist, wenn wir eine KI dann…, entwickeln, gleich durch diesen Diskurs begleiten, auf den wir heute eigentlich ziemlich schnell konsensorientiert kamen. Wir brauchen diesen Metadiskurs, wir brauchen diese interdisziplinäre Diskussion. So stehen wir ja jetzt auch hier. Wir fangen, also wir reflektieren direkt. Was brauchen wir? Wir brauchen eine KI, die transparent ist, die begründet, warum sie auf welche Verdachtsmomente gekommen ist und welche Entscheidung getroffen hat. Wir brauchen eine KI, die den Mensch. Und vielleicht haben wir irgendwann eine KI, die so eine Art Gedankenpartner ist. Das wäre so für mich jetzt so mein utopisches Szenario, was mir so durch den Kopf ging. Was ist, wenn eine KI zum Beispiel die unwahrscheinliche Unschuldshypothese mit anbieten würde? Also Ermittler, die verständlicherweise in bester Absicht sozusagen versuchen, den Täter zu finden, aber in so einem Login-Modus sind und ihrer Ermittlungshypothese folgen. Was ist, wenn die KI sagen würde, und im Übrigen die unwahrscheinliche Unschuldshypothese könnte auch in diese Richtung gehen. Wir wissen nicht, wie die Menschen sind.
Charlotte Schmitt-Leonardy 0:22:56
Sachlich geschrieben.
Marc Ohrendorf 0:22:57
Und der Prompt ist sozusagen die Frage an diesen Kommentar. Das heißt, wir sagen nicht im Kommentar, by the way, wenn du hier einstellst, um bei dem Beispiel von vorhin zu bleiben, dann bedenke bitte, ob du eventuell einem rassistischen Bias unterliegst oder wenn du nicht einstellst, je nachdem natürlich. Sondern wir sagen, nimm dir mal die objektiven Parameter aus dem Kommentar, aus der KI-Analogie und zwar as they are, aber achte darauf, dass du bei deiner Anfrage an die KI keinem rassistischen Bias unterliegst beispielsweise. Beispielsweise. Also man könnte formulieren, um in dieser positiven Welt einmal zu bleiben, dass es so eine Art Prompting-Neutralitätsgebot geben könnte. Komme ich jetzt auch gerade ehrlich gesagt spontan drauf. Also ich stelle mir gerade so einen Ermittlungsbeamten vor, bei der Polizei oder bei der Staatsanwaltschaft dann eben der Staatsanwalt. Der eine KI bedient, der irgendwie mit der interagiert, sagen wir mal, der sagt jetzt, analysiere Daten XYZ, Punkt. Analysiere die Daten von gestern Abend, von der Durchsuchung. Das fragt er die KI. Dann fragt er das ja nicht wortwörtlich die KI so. Da findet er im Hintergrund eine entsprechende Übersetzung. Ich lasse mal das Technische weg in das statt, was die KI versteht. Jetzt könnte man hier in diesem Übersetzungsprozess theoretisch alle Softwareanbieter, die in diesem geschützten Rahmen der Strafverfolgung tätig sein möchten, verpflichten, diese Übersetzungen immer möglichst neutral, möglichst gegen Biases zu formulieren. Dass man beispielsweise sowas mitgibt wie, berücksichtige dabei nicht das Geschlecht der Person, berücksichtige, dass überproportional viele Menschen da und da, das muss aber hier keine Auswirkungen haben, weil wir wissen, der Datenbestand ist beispielsweise an der Stelle entsprechend belastet und so weiter und so weiter. Das ist jetzt sehr ins Unreine gesprochen, aber vielleicht in einer Utopie jedenfalls könnte das der erste Ansatz sein.
Charlotte Schmitt-Leonardy 0:25:37
Danke. Vielen Dank.

Gäste

Die Gäste dieser Folge im Detail. Bitte nutze die Kontaktmöglichkeit nur, falls du an einem konstruktiven Austausch interessiert bist. Solltest du Feedback zu IMR haben, kontaktiere uns bitte direkt.

Prof.'in Dr. Charlotte Schmitt-Leonardy

Prof.'in Dr. Charlotte Schmitt-Leonardy Professorin, Universität Bielefeld

Kontakt
Jürgen Bering

Jürgen Bering Jurist, Gesellschaft für Freiheitsrecht

Kontakt

Abonnieren

Ihr könnt Irgendwas mit Recht bequem in Eurer Podcast-App der Wahl abonnieren. In der Regel findet Ihr den Podcast, wenn Ihr ihn dort einfach sucht. Alternativ klickt auf einen der unten stehenden Links.
Viel Spaß!