KI-Überwachung des deutschen Staates: Is Big Brother watching Us?

00:00:01: Es ist ein ganz normaler Donnerstagmorgen Detroit in den USA im Februar, zwanzig.

00:00:08: Portia Butrov ist im achten Monat schwanger und hilft gerade ihren beiden kleinen Töchtern sich für die Schule fertig zu machen.

00:00:17: Plötzlich klopft es an der Tür.

00:00:20: Sechs Polizisten stehen davor.

00:00:23: Sie halten der Mutter einen Haftbefehl unter die Nase.

00:00:27: Ihr Name steht darauf Der Vorwurf bewaffneter Raubüberfall und anschließender Autoentführung.

00:00:35: Porsche ist völlig schockiert, das muss ein Irrtum sein!

00:00:40: Doch die Handschellen klicken – sie wird abgeführt vor den Augen ihrer Kinder, ihrer Nachbarn.

00:00:48: Stundenlang sitzt sie in einer Zelle hat Angst um ihr ungeborenes Kind, um ihre beiden Mädchen.

00:00:57: Während der etwa elf Stunden in Gewahrsam bekommt sie wehenehnliche Beschwerden.

00:01:02: Nach ihrer Freilassung muss sie ins Krankenhaus.

00:01:08: Was ist passiert?

00:01:11: In Detroit kommt es zu einem bewaffneten Raubüberfall mit anschließender Autorentführung, Bewahrungskameras am Tatort zeichnen eine Frau auf.

00:01:22: Die Ermittler lassen das Gesicht der unbekannten Täterin durch eine Gesichtserkennungssoftware DataWorks Plus laufen die mit Bilddatenbanken der Behörden verknüpft sind.

00:01:33: Die Software liefert ein Match mit einem acht Jahre alten Foto von Porsche Woodruff, das von den Ermittlern in eine Fotowahl gegen Überstellung übernommen wird.

00:01:46: Der einzige Beweis der sie mit diesem Verbrechen dessen Sie bezichtigt wird in Verbindung bringt ist ein Foto.

00:01:54: Ein Algorithmus einer Gesichtserkennungssoftware hat ihr acht Jahre altes Führerscheinfoto mit unschärften Bildern einer Überwachungskamera abgeglichen und gemeldet Treffer.

00:02:08: Die Polizei ignoriert, dass Woodruff zum Tatzeitpunkt im achten Monat schwanger war während die Täterbeschreibung keine Schwangerschaft erkennen ließ – im achte Monat wohlgemerkt!

00:02:22: Woodruff betont später in Interviews, dass niemand ihre tatsächliche Schwangerschaft mit der Täterbeschreibung abgeglichen habe.

00:02:37: Das ist die wahre Geschichte von Portia Woodruff aus Detroit.

00:02:42: Sie wurde zu Unrecht verhaftet weil eine KI sie fälschlicherweise identifiziert hat.

00:02:49: Erst als das Opfer des Überfalls Cisar war klar Das digitale System hat sich geirrt.

00:03:01: Und solche digitalen Programme werden auch in Deutschland eingesetzt.

00:03:33: der True Story Podcast mit der Autorin und leidenschaftlichen Friedhof-Spaziergängerin Sonja Wolfer.

00:03:47: Willkommen zu Schattenwestbran!

00:03:50: Heute lade ich euch ein mehr in die Welt, der digitalen Polizeiarbeit in die welt der Terrorbekämpfung und Gewaltprävention mithilfe von KI zu folgen.

00:04:02: Es geht um künstliche Intelligenz, um strittene Software unter anderem Palantir aus den USA und die Frage, wie viel von unserer Freiheit wir für ein Versprechen von Sicherheit aufgeben wollen.

00:04:18: Oder müssen?

00:04:22: Rund einen Monat nach der Verhaftung von Porsche Woodruff lassen Staatsanwälte die Anklage fallen – den Unterlagen zufolge erfolgte dies nach dem Klaviert das sie Identifizierung fehlerhaft war.

00:04:37: Woodruff reicht eine zibile Klage gegen die Stadt Detroit und die zuständige Ermittlerin ein.

00:04:44: Sie argumentiert, dass der Gesichtserkennungstreffer unkritisch übernommen und nicht sorgfältig durch Menschen überprüft wurde.

00:04:53: In der Klage wird hervorgehoben das sie Beamtin unter anderem versäumt haben soll, das aktuelle Führerscheinfoto Woodroves mit dem Überwachungsvideo zu vergleichen – und die Diskrepanz in Bezug auf Schwangerschaft, Alter- und Erscheinungsbild zu

00:05:09: berücksichtigen.".

00:05:12: Posher Woodruff ist kein Einzelfall.

00:05:16: Sie ist eine von mehreren Personen, die allein in den USA nachweislich zu Unrecht aufgrund eines fehlerhaften KI-Gesichtsscans verhaftet wurde.

00:05:28: Besonders alarmierend ist folgender Umstand Alle sechs bekannten Fälle betreffen People of Color Und genau diese Technologie, die eine schwangere Mutter unschuldig ins Gefängnis bringen kann steht jetzt im Zentrum einer hitzigen Debatte hier bei uns in Deutschland.

00:05:48: Die mit der rasanten Entwicklung von KI so richtig Fahrt aufgenommen hat.

00:05:54: Moment!

00:05:56: Ihr glaubt vielleicht das ist doch Amerika?

00:05:59: Die

00:05:59: USA?!

00:06:00: Da geht's ja bekanntlicherweise mittlerweile ganz anders zu als bei uns.

00:06:05: Stichwort ICE etwa.

00:06:08: Ja, das stimmt natürlich – teilweise!

00:06:13: Dennoch in Deutschland arbeiten die Behörden mit digitalen Programmen im Rahmen der Verbrechensbekämpfung zum Beispiel.

00:06:23: Das Bundeskriminalamt BKA betreibt das Gesichtserkennungssystem GES z.B.

00:06:29: für Abgleiche von Personenfotos mit großen Bilddatenbanken.

00:06:35: Punkt ORC, ein Medium für digitale Freiheitsrechte, wertete interne Zahlen aus und berichtet, dass die Fehlerrate des Systems twenty-fourzehn bei circa dreißig Prozent lag.

00:06:48: Und im Zwischen nach BKA-Angaben auf unter ein Prozent gesunken sein

00:06:53: soll.".

00:06:55: Okay!

00:06:56: Das ist ja erst einmal ein beruhigender Fortschritt – aber Achtung schon ein Prozent Fehlerrate beim Millionen Gesichtsergleichen erzeugt Tausende potenziell falsche Treffer, was in der Praxis tausende unschuldige Personen ins Visier bringen kann.

00:07:17: Der Artikel von Netzpolitik verweist auch darauf, dass das Erneuerte KI-gestützte GES seit Jahrzehnte und Zwanzig ohne manuellen Entabgleich auskommen könnte, was Bürgerrechtler als hoches Kant kritisieren.

00:07:35: Noch mal zur Verdeutlichung!

00:07:36: Die Hochschwangere Woodroff wurde von dem Gesichtserkennungsprogramm allein aufgrund ihres Gesichts als die scheinbare Täterin identifiziert.

00:07:46: Ein Endergleich durch einen Menschen hätte sofort eine Verhaftung ausgeschlossen, da die Täterinnen – auf der Tat dort Aufnahme offensichtlich nicht hochschwanger war wie die zu Unrecht festgenommener Porsche Woodroffe.

00:08:03: Was also plant die deutsche Regierung?

00:08:07: Das neue Sicherheitspaket.

00:08:12: In Bahnhöfen auf Demos in sozialen Netzwerken, im Deutschland setzen Sicherheitsbehörden schon lange biometrische Gesichtsekennungssysteme ein um unbekannte Personen zu identifizieren.

00:08:26: Die Behörden können damit Fotos mit Bildern aus Referenzdatenbanken abgleichen die vor allem außer Ermittlungen stammen.

00:08:36: In diesen Datenbanken befinden sich verurteilte Straftäter, tatverdächtige Asylsuchende und zum Teil Menschen mit Asyl.

00:08:45: Der automatisierte Abgleich mit Bildern außerhalb der internen Datenbank ist derzeit nicht zulässig – auch nicht mit Fotos aus sozialen Netzwerken oder öffentlich zugänglichen Webseiten.

00:08:59: Also Quellen auf denen wir alle oder wahrscheinlich der Großteil von uns zu sehen ist.

00:09:13: Befürworter von Gesichtserkennung sehen die Befugnisse von Polizei und Zoll zu stark eingeschränkt, und wollen das ändern.

00:09:22: Was plant nun die Politik in Deutschland?

00:09:24: Und was kritisieren Bürgerrechtler und Datenschützer?

00:09:29: Im Jahr twenty-five liegt ein Gesetzesentwurf auf dem Tisch der es in sich hat.

00:09:36: Das Bundesinnenministerium unter Alexander Dobrindt von der CSU will die Befugnisse von Bundeskriminalamt und Bundspolizei massiv erweitern.

00:09:48: Ein ähnlicher Versuch ist im Jahr auch noch in den letzten Jahren gescheitert, doch jetzt ist der Plan wieder da – Schlagworte, KI-gestützte Ermittlungssoftware und biometrische Datenanalyse.

00:10:03: Konkret bedeutet das?

00:10:05: Die Polizei soll die Erlaubnis bekommen, biometrische Daten also zum Beispiel dein Gesicht mit öffentlich zugänglichen Bildern aus dem Internet abzugleichen.

00:10:16: Das Ziel ist es, Terroristen und andere Straftäter schneller zu finden.

00:10:22: Klingt erst mal gut oder?

00:10:25: Aber Datenschützer- und Bürgerrechtsorganisation wie Amnesty International und die Gesellschaft für Freiheitsrechte schlagen Alarm!

00:10:35: Ulrich Kälber, der bis im Jahr ist, bundesdatenschutzbeauftragter war, sagt ganz klar dass selbst eine nicht flächendeckende biometrische Überwachung ein tiefer Eingriff in unsere Grundrechte ist.

00:11:02: Die anlasslose Massenüberwachung – genau hier wird es nämlich heikel!

00:11:08: Denn um Gesichter abgleichen zu können braucht man riesige Datenbanken.

00:11:13: Doch das wahllose Sammeln und Speichern von Fotos, um solche Datenbanken zu erstellen ist nach der neuen KI-Verordnung der EU eigentlich verboten.

00:11:24: Ein klarer Widerspruch also!

00:11:27: Doch auch das muss gesagt werden – die Befürworter einer KI-gestützten Verbrechersuche haben starke Argumente denn digitale Gesichtserkennungsprogramme haben durchaus beeindruckende Erfolge gezeigt.

00:11:44: Nach dem Bomptmanschlag auf den Boston Marathon, zum Beispiel standen die Ermittler vor der gewaltigen Aufgabe, die Verdächtigen in riesigen Mengen an Videomaterial und Fotos zu identifizieren.

00:11:58: Eine spätere wissenschaftliche Untersuchung simulierte dieses Szenario mit damals hochmoderner Gesichtserkennungssoftware.

00:12:07: Das Ergebnis war beeindruckend!

00:12:09: Obwohl die Bildqualität oft schlecht war, zum Beispiel durch ungünstige Winkel, verdeckte Gesichter oder niedriger Auflösung der Aufnahmen, erzielte eines der kommerziellen Systeme einen Volltreffer.

00:12:25: Es identifizierte einen der Täter, Chocha Zanayev.

00:12:29: Korrekt an erster Stelle beim Abgleich mit einer Datenbank von einer Million Polizeifotos – den sogenannten Mach-Shots!

00:12:38: Dieser Fall wird als eine verpasste Chance für die automatisierte Gesichtserkennung bezeichnet, da die Technologie das Potenzial gehabt hätte, die Ermittlungen erheblich zu beschleunigen.

00:12:51: Aber dies nicht voll ausgeschöpft

00:12:53: wurde.".

00:12:55: Christoph de Vries parlamentarischer Staatssekretär im Innenministerium betont – Zitat Wir können mit den Mitteln des zwanzigsten Jahrhunderts nicht die Kriminalität und der terroristischen Gefahren des einundzwanzigste Jahrhunder zu bekämpfen.

00:13:10: Und deswegen geht es am Ende darum, die innere Sicherheit zu stärken – und dafür unseren Polizeibehörden die notwendigen Instrumente an die Hand zu geben!

00:13:21: Defris moniert die paradoxe Situation, dass Privatpersonen mehr Ermittlungsmöglichkeiten zur Verfügung stehen als der Polizei.

00:13:32: Dies zeigte sich Ende Jahrzehnte als Journalisten mit Hilfe der Gesichtserkennungsplattform PIMEIS, die gegen europäisches Datenschutzrecht verstößt.

00:13:45: Die untergetauchte RAF-Terrorverdächtige Daniela Kletter aufzuspüren.

00:13:51: Über einen Bildaggleich fanden sie eine Übereinstimmung mit einem Foto aus einem Kreuzwerkerverein.

00:13:58: Diese Information führte schließlich zur Verhaftung Klettes in Berlin.

00:14:03: Das zeigt, glaube ich, die ganze Absurdität", sagt Christoph de Vries.

00:14:11: Dass was Journalisten mit privaten Produkten machen dürfen – das muss unseren Sicherheitsbehörden möglich sein wenn sie dem Schutzauftrag des Staates nachkommen können sollen.

00:14:24: Bedenkenswert finde ich!

00:14:28: Bevor wir uns aber weitere reale Fälle anschauen, sollten wir einen Begriff klären der hier schon mehrmals gefallen ist.

00:14:36: Biometrie – das ist mehr als nur ein Fingerabdruck!

00:14:44: Was ist eigentlich Biometri?

00:14:47: Du kennst es bereits von deinem Smartphone, Face ID oder der Fingerabduksensor?

00:14:55: Die Biometrie ist die Wissenschaft, die einzigartige körperliche oder verhaltensbasierte Merkmale von uns misst.

00:15:04: Dein Gesicht, deine Iris, deine Stimme – sogar dein Gang!

00:15:10: Sie sind einzig-artig.

00:15:13: Diese Merkmalen sind anders als Passwort untrennbar mit dir verbunden.

00:15:19: Du kannst sie nicht ändern und genau das macht sie aus Datenschutzsicht so extrem sensibel.

00:15:28: Wenn eine solche Datenbank gehackt wird, sind deine intimsten unveränderlichsten Merkmale für immer verloren und können missbraucht werden.

00:15:39: Man kann damit Bewegungsprofile erstellen Menschen über verschiedene Lebensbereiche hinweg verfolgen und überwachen.

00:15:49: Schon heute ist das keine Zukunftsmusik mehr.

00:15:53: An deutschen Flughäfen wie in Düsseldorf wurde im Oktober, twenty-fünfundzwanzig das neue entry exit System der EU eingeführt.

00:16:03: Wenn du aus einem Nicht-EU statt einreist werden dein Gesichtsbild und deine Fingerabdrücke erfasst.

00:16:10: Der klassische Stempel im Pass ist damit Geschichte.

00:16:14: Das offizielle Ziel ist eine schnellere und sichere Kontrolle über all die Menschen die Einreisen Alle, wohlgemerkt auch du und ich.

00:16:25: Damit ist es auch ein weiterer Schritt zur flächendeckenden Erfassung biometrischer Tag.

00:16:38: Lass uns einen Blick nach Hamburg werfen!

00:16:41: Das Verfassungsgericht Hamburg hat im Jahr von dem Jahr-Zwischen eine Anordnung des Hamburger Datenschutzbeauftragten aufgehoben – die Löschung einer biometrischen Datenbank zur Gesichtserkennung durch die Hamburger Polizei verlangte.

00:16:57: In der juristischen und datenschutzrechtlichen Bewertung wird kritisch darauf hingewiesen, dass die Datenbank massenhaft Gesichter unbeteiligter enthält und diese bei Abgleich in den Ermittlungsverfahren potenziell zu verdächtigen werden können.

00:17:15: Es wird berechnet, dass auf hunderttausend gespeicherte Personen rund zwei tausend sechshundert Ermittlungen kommen.

00:17:22: Mehr als neunzig Prozent der Betroffenen sind von vorneherein unschuldig geraten, aber dennoch in polizeiliche Maßnahmen.

00:17:31: Allein deshalb weil ihre Bilder gespeichert

00:17:34: wurden.".

00:17:36: Der Hamburger Datenschutzbeauftragte kritisierte hier meine ich zu Recht Zitat Das Gericht sieht offenbar in der Generalklausel des Paragrafen Achtundvierzig Bundesdatenschutzgesetz, die in pauschaler Form die Verarbeitung besonderer Kategorien von Daten wozu unter anderem auch biometrische Daten gehören regelt eine hinreichende Grundlage für die massenhafte Erstellung von Gesichtsprofilen zur Strafverfolgung gerade auch von unbeteiligten Personen.

00:18:10: Damit ist im Prinzip der Weg frei zur Strafverfolgung, künftig alle erdenklichen Daten aus dem öffentlichen Raum zu sammeln und daraus biometrische Profile zu generieren ohne das konkrete gesetzliche Vorgaben eine unabhängige Kontrolle zur Sicherung von rechten Betroffner ermöglichen.

00:18:31: Es steht zu befürchten, so sagt er weiter das sich eine entsprechende Praxis nicht nur in Hamburg wo die zuständige Innenbehörde bereits weitere Einsatzfeldern betracht sieht sondern auch in den Zuständigkeitsbereichen des Bundes und anderer Länder Deutschland etabliert.

00:18:52: Palantir ist Auge des Staates.

00:18:58: In Zentrum der neuen Sicherheitspläne der deutschen Regierung steht immer wieder ein Name Palantir, ein US-Unternehmen dessen Software als eine der geheimsten und mächtigsten Analyseplattformen der Welt gilt.

00:19:17: Palantyr – das Wort stand aus Tolkiens erfundener Elbensprache quénya und bedeutet fern sehr oder der weitblickt von palan gleichweit und tier beobachten schauen Kristallkugeln, die es ermöglichen über große Entfernungen zu sehen und miteinander zu kommunizieren.

00:19:41: Das finden wir in Tolkiens Welt.

00:19:44: So nutzt der Zauberer Saruman einen Palantir um mit dem bösen Schlechtin mit Sauron zu kommunikieren und wird dadurch korumpiert.

00:19:58: Die Namensgebung des Unternehmens Palantier Technologies ist eine bewusste Anspielung auf diese allsehnten Steine, ein Hinweis auf die Überwachungs- und Datenanalysefähigkeit ihrer Software.

00:20:14: Aber wer will sie in die falschen Hände gerät?

00:20:18: Nicht

00:20:18: wahr?!

00:20:20: Doch wer bestimmt was die Falschen und die richtigen Händes sind?

00:20:24: Wer bestimmt etwas gut bzw.

00:20:26: richtig und was falsch beziehungsweise gefährlich ist?

00:20:30: Und für wen?

00:20:33: Wir kommen darauf zurück!

00:20:36: Gegründet wurde das Unternehmen Palantir Technologies.

00:20:41: Drei unter anderem von Peter Thiel, eine Milliardär und Trump Anhänger, der mal sagte er glaube nicht mehr dass Freiheit und Demokratie kompatibel sein.

00:20:54: nochmal zum Verdauen.

00:20:57: Freiheit und demokratie seien nicht mehr kompatible.

00:21:03: Das ist eigentlich mindestens seine eigene Podcastfolge wert.

00:21:08: Der heutige CEO von Palantir Alex Karp wiederum gibt offen zu, dass die Software Zitat gelegentlich zum Töten von Menschen gewendet wird.

00:21:22: Und in Deutschland ist diese Software bereits im Einsatz!

00:21:26: In Hessen heißt sie Hessendata – in Bayern wäre Verfahrensübergreifendes Recherche- und Analysesystem Und in Nordrhein-Westfalen DAR, Datenbank übergreifende Analyse und Recherche.

00:21:42: Die Funktionsweise ist im Kern immer dieselbe – die Software, die offiziell den Produktnamen Palentir Gossen trägt saubt Daten aus den verschiedensten bisher getrennten Töpfen auf.

00:21:56: Polizeidatenbanken, Falldaten, Mobilfunkinformation und noch theoretisch sogar Daten aus sozialen Medien.

00:22:07: Gotham klingelt da nicht.

00:22:09: was bei euch?

00:22:11: Richtig.

00:22:12: Gothams City ist die fiktive Stadt aus dem Comics-Universum von Batman, bekannt als dunkle, von Kriminalität geplagte Metropole, Symbol für ubahne Gefahren und Verbrechen – Ort der intensive Überwachung.

00:22:35: dass wir sprechen von Palantese die vorherragende Polizeiarbeit, predictive policing.

00:22:43: Der Algorithmus soll selbstständig Zusammenhänge erkennen, die ein Mensch vielleicht übersehen würde.

00:22:50: Er soll Gefährder identifizieren vor sie zuschlagen – aber die Kritik daran ist fundamental!

00:22:59: Das Bundesverfassungsgericht hat den Einsatz dieser Software in Hessen im Jahr- und Jahrzehnte als teilweise verfassungswidrig eingestuft.

00:23:08: Die Richter sagten, dass durch die automatisierte Analyse völlig neues hochsensibles Wissen über Menschen geschaffen wird, was einen schweren Grundrechtseingriff darstellt.

00:23:20: Und dieser Hunger nach Daten ist kein Einzelfall.

00:23:25: Schauen wir nach Schweden!

00:23:29: Der illegale Einsatz von KI die schwedische Polizei und Clearview AI im Einsatz bis zu den Jahren.

00:23:41: Die schwedischen Polizei nutzt die umstrittene Gesichtserkennungs-App ClearviewAI, um Verdächtige zu identifizieren.

00:23:51: ClearviewAi funktioniert indem er seine riesige Datenbank mit Milliarden von Fotos nutzt, die ohne Zustimmung von öffentlichen Websites und sozialen Mädchen gesammelt wurde.

00:24:04: Der Einsatz flog auf und führte zu einer Untersuchung durch die schwedische Datenschutzbeharte.

00:24:11: Diese kam zu dem Schluss, dass die Nutzung der App durch die Polizei illegal war – da es keine ausreichende rechtliche Grundlage dafür gab.

00:24:23: Dieser Fall zeigt exemplarisch die Spannungen zwischen dem Wunsch der Polizei nach effektiven Ermittlungswerkzeugen und den strengen rechtlichen und ethischen Rahmenbedingungen des Datenschutzes.

00:24:37: Er macht sehr deutlich, wie Behörden in einer rechtlichen Grauzone agieren und dabei von Aufsichtsbehörden zurückgefiffen werden – noch!

00:24:50: Trotzdem wollen mehrere Bundesländer – Palantir jetzt bundesweit als Interimslösung einführen, bis die Polizei eine eigene Lösung entwickelt hat.

00:25:00: Kritiker nennen so etwas blauäugig.

00:25:05: Sie warnen vor einer dauerhaften Abhängigkeit von einem US-Konzern mit engen Verbindungen zu Geheimdiensten und dem Militär gerade in Zeiten denen Rufen nach mehr digitaler Souveränität lauter werden.

00:25:22: Man darf sich schon fragen, ob man von einem Konzern abhängig sein möchte dessen verantwortliche Freiheit und Demokratie als Widerspruch sehen.

00:25:33: Und die eigene Software durchaus als Werkzeug zum Töten bezeichnen.

00:25:39: Man darf zudem fragen, Ob wir mit diesen Leuten all unsere Daten teilen möchten.

00:25:46: oder zurück nach Deutschland zu unseren polizeilichen Behörden.

00:25:54: Polizei zwischen Wunsch und Wirklichkeit.

00:26:01: Wie realistisch ist der Einsatz dieser Hightech-Systeme überhaupt?

00:26:06: Was sagen die Leute, die es am Ende umsetzen müssen?

00:26:10: Die Polizistinnen und die Polizisten.

00:26:14: Jochen Kuppelke, der Bundesvorsitzende der Gewerkschaft der Polizei GDP sagte gegenüber korrektiv Der Einsatz sei zwar zitat Realistisch Aber die Polizei habe noch ganz andere Sorgen.

00:26:32: Er spricht vom IT-Projekt Polizei... ...Zwanzig, Zwanzig oder kurz P-zwanzig.

00:26:38: Dieses Programm soll die völlig veraltete und sehr splitterte IT-Landschaft der zwanzig verschiedenen Polizeibahörden von Bund und Ländern endlich modernisieren und vereinheitlichen.

00:26:51: Doch Kopelke nennt das Projekt schwerfällig und sagt es gehe viel zu langsam voran um den Kollegen auf der Straße wirklich zu helfen.

00:27:01: P-twanzig soll die technische Basis für KI und Biometrie schaffen, aber die Realität sieht oft anders aus.

00:27:10: Daten müssen immer noch von Hand übertragen werden.

00:27:13: Systeme können nicht miteinander kommunizieren.

00:27:18: Während die Politik also von KI gestützter Terrorbekämpfung träumt, kämpft die Polizei an der Basis mit den Typen einer jahrzehntelang vernachlässigten Digitalisierung.

00:27:30: Eine detaillierte Bewertung der Gewerkschaft zu spezifischen Werkzeugen wie Palantir liegt korrektiv zwar nicht vor, aber die Kritik am schleppenden Fortschritt des P-twanzig Projekts zeigt die riesige Lücke zwischen politischem Anspruch und polizeilicher Realität.

00:27:52: Und bei all der Diskussion, dem für und wieder den Chancen- und Risiken des Einsatzes von KI zur Gewaltprävention, zur Theraobekämpfung, zur Stärkung unserer Sicherheit gilt – die KI wird noch von Menschen programmiert.

00:28:09: Und zeigt ein weiteres Problem das offenbar menschliche Züge trägt.

00:28:21: Systemfehler Tender Shades.

00:28:25: Wir sprechen hier von einer Gefahr, die am Beispiel der Geschichte von Porsche Woodroff nur allzu gut deutlich wurde.

00:28:33: Sie steckt tief im Code der Algorithmen – diese KI ist nicht objektiv!

00:28:40: Eine bekannte Studie namens Gender Shades hat das schon aus dem Jahr.

00:28:52: Die wegweisende Studie untersuchte nämlich die Genauigkeit von kommerziellen Gesichtserkennungssystem und deckte eine massive Verzerrung, Bayes genannte auf.

00:29:06: In der KI nennt man Bayes die Tendenz eines Systems bestimmte Gruppen regelmäßig zu bevorzugen oder zu benachteiligen – nicht zufällig sondern als Muster.

00:29:19: Die Ursache sind meist verzerrte Trainingsdaten, zum Beispiel zu viele Bilder weißer Männer und zu wenige dunkelhäutiger Männer.

00:29:29: Fehlerhafte Auswahl- und Labeling der Daten oder algorithmische Entscheidungen die bestimmten Merkmale stärker gewichten.

00:29:40: Die getesteten Systeme hatten die höchsten Fehlerquoten bei der Identifizierung von Frauen mit dunkleren Hautfarbe.

00:29:48: Die Fehlerrate lag hier bei bis zu thirty-fünfunddreißig, sieben Prozent.

00:29:54: Vergleich dazu betrug die maximale Fehlerate beim Männern mit hellerer Haut nur null, acht Prozent.

00:30:05: Eine neuere Analyse von zweitausendfünfundzwanzig bestätigt diese systemischen Mängel immer noch und stellt fest das Personen mit dunklerer Haut um thirty vier Prozent häufiger falsch identifiziert werden als Personen mit hellerer Haut.

00:30:23: Das ist kein kleinerer Programmierfehler, das ist ein systemischer Bias der dazu führt dass unschuldige Menschen insbesondere aus Minderheitsgruppen viel eher fälschlicherweise als verdächtig markiert werden.

00:30:40: die Maschine reproduziert und verstärkt Vorurteile die wir als Gesellschaft ohnehin schon haben.

00:30:54: Puh!

00:30:56: Schwierig, oder?

00:30:58: Ganz schön viele erschreckende Informationen die sich darauf tun wenn man sich näher mit der Thematik beschäftigt und man möchte doch einfach sagen lasst es.

00:31:11: Doch ist das richtig?

00:31:14: Zum einen gibt es diese technischen Möglichkeiten und ihre legale Anwendung wird in unserer aktuellen Regierung zum Beispiel diskutiert so wie sie bereits in der Vorgängerregierung diskutiert wurde.

00:31:28: Davor können wir die Augen nicht verschließen, abgesehen davon gibt es ja auch Gründe für eine Nutzung solcher technischen Möglichkeiten, die für die Nutzungen der KI sprechen und damit möchte ich ausdrücklich derer Stoßen, die auf unerträgliche Weise immer wieder die Gefahr der bösen Migranten beschwören, der ausländischen Verbrecher vor denen unsere Grenzen geschützt werden müssten.

00:31:58: Das sei an dieser Stelle explizit betont.

00:32:02: Woran ich denke sind Fälle in denen die KI sich tatsächlich als sehr hilfreicher Wiesen hat oder noch erweisen könnte?

00:32:14: Frankfurt am Main vermisst das Mädchen per KI-Videoanalyse gefunden.

00:32:34: Da man vermutete, dass es sich im Bahnhofsviertel aufhielt, setzte die Polizei ein KI-gestützes Videosystem ein.

00:32:42: Das Überwachungsaufnahmen aus dem Gebiet automatisch auswertet.

00:32:48: Nach richterlich bestätigter Eileanordnung durfte ein Foto der Jugendlichen in die Datenbank eingespeist werden – die Software verglich das Bild mit Tausenden Bildsequenzen aus dem Stadtgebiet.

00:33:01: Bereits am Abend des Folgetags erkannte das System eine Übereinstimmung in der Taunusstraße.

00:33:07: Ein Mitarbeiter überprüftet die Hinweis manuell, bewertete ihn als sehr wahrscheinlich und leitete eine Streife dorthin.

00:33:18: Die Beamten fanden das Mädchen kurz darauf hin tatsächlich wohlbehalten und brachten es zurück in die Einrichtung.

00:33:27: Der hessische Innenminister stellte den Fall explizit als Erfolgsbeispiel für KI-gestützte Vermistensuche dar.

00:33:35: Wichtig ist mir aber noch mal, dass das tatsächlich dann auch von einem Menschen nochmal überprüft oder abgeglichen wurde.

00:33:46: Fall zwei!

00:33:48: Bereits kurz erwähnt ex-RAF-Terroristin Daniela Glätte.

00:33:53: eine Gesichtserkennungssoftware liefert entscheidenden Hinweis.

00:33:58: Die frühere RAF-Terroristin Daniela Kletter war jahrzehntelang untergetaucht.

00:34:04: Die Polizei suchte international nach ihr.

00:34:07: Ein kanadischer Journalist nutzte jetzt eine kommerzielle Gesichtserkennungssoftware, um ältere Fahndungsbilder Klettes mit Fotos aus sozialen Netzwerken und öffentlich zugänglichen Quellen abzugleichen – und die Software lieferte tatsächlich einen Treffer!

00:34:26: der darauf hindeutete, dass Klette in Berlin lebt.

00:34:31: Der Journalist recherchierte weiter und veröffentlichte seine Erkenntnisse.

00:34:38: Die deutschen Behörden bestätigten später, dass diese Recherchen ein wichtiger Hinweis im Vorfeld der tatsächlichen Festnahme waren – auch wenn offizielle Ermittlungen, das heißt Observation, klassische Polizeiarbeit letztlich den Zugriff durchführen.

00:34:56: Als Reaktion auf diesen Fall legte das Bundesinnenministerium einen Gesetzesentwurf vor, der BKA und Bundespolizei den Einsatz ähnlicher Gesichtserkennungssoftware bei der Verhandlung nach Terroristen- und Schwerverbrechern erlauben sollen.

00:35:14: Fall drei – BKA-Gesichtserkennungssystem GES.

00:35:20: ebenfalls schon in dieser Folge thematisiert Das Bundeskriminal an Nutz satt-sweitausend acht ein eigenes Gesichtserkennungssystem um unbekannte Täter aus Bildmaterial, das heißt von Überwachungskameras und Fotos zu identifizieren.

00:35:39: Bei einer Recherche wird Weltmaterial eines Unbekannten mit in Pol gespeicherten Lichtbildern von Straftätern abgeglichen.

00:35:48: Das System schlägt mögliche Kandidaten vor die dann von Sachverständigen visuell überprüft werden also von Menschen.

00:35:56: Hier erfolgt also ein Abgleich durch einen Menschen.

00:36:00: Das BKA berichtet, dass so immer wieder Personen identifiziert werden – etwa bei gewalttäligten Einbrüchen oder anderen Straftaten auch wenn einzelne Fälle selten mit Namen veröffentlicht werden.

00:36:14: Laut Deutschlandfunk ist das System besonders für die Verhandlung nach kriminellen und vermissten Personen interessant und wird im Rahmen reguläre Ermittlungen auch eingesetzt.

00:36:27: Fall Vier.

00:36:29: Berlin-Brandenburg Sachsen, KI Gesichtserkennung in Ermittlungsverfahren.

00:36:35: Die TATS berichtet dass die Berliner Polizei eine KI basierte Gesichtserkennungssoftware in sechs Ermittungsverfahren eingesetzt hat insgesamt mit einund dreißig mutmaßlichen Täter.

00:36:47: Die Software wurde unter anderem im Rahmen der Amtshilfe für Brandenburg und Sachsen genutzt um Fluchtrunden zu beobachten und verdächtige mehrere Bandendiebstelle zu identifizieren.

00:37:03: Konkrete Einzelfälle mit Namen werden aus Datenschutz- und Ermittlungsgründen nicht genannt, doch der Senat bestätigt, dass das Programm bereits zur Identifizierung im laufenden Verfahren geführt hat.

00:37:18: und Gesuchte.

00:37:34: In Deutschland werden vermissen Meldungen in das polizeiliche Informationssystem INPUL eingetragen, von dort werden Verhandlungsdaten bundesweit verfügbar gemacht.

00:37:47: Bei internationalen Fällen werden Suchersuchen über das Schengen-Informationssystem des SIS aktiviert.

00:37:55: Ein Eintrag lässt alle Schengensstaaten nach der Person fahnden.

00:38:00: Das SES enthält unter anderem Ausschreibungen zu vermissten Personen, Terrorverdächtigen und gesuchten Straftäter.

00:38:29: erlaubt biometrische Daten wie Fingerabdrücke, DNA-Datensätze für misster Personen und künftig auch Gesichtsbilder.

00:38:37: Positiv Vertreffer müssen von der jeweiligen nationalen Behörde bestätigt und innerhalb von Achtundvierzig Stunden beantwortet werden.

00:38:49: Fall sechs.

00:38:51: Experimentelle Programme zur Vermissten Suche also Programme die noch im Test sind.

00:38:59: Forscher in Deutschland entwickeln Systeme, die aus Handyfotos drei D-Gesichtsmodelle berechnen um zu simulieren wie eine gesuchte Person und her verschiedenen Licht- und Kamerabinkeln aussieht.

00:39:13: Diese Modelle sollen dann mit großen Bildbeständen zum Beispiel Daten aus Videoüberwachung abgeglichen werden und so bessere Trefferkoden liefern als klassische zwei D Gesichtserkennungen.

00:39:26: Laut Deutschlandfunk befindet sich diese Technik noch im Entwicklungs- und Teststadion, wird nicht regulär im Polizeiaultag eingesetzt.

00:39:38: Ich weiß nicht wie es euch geht!

00:39:43: Der Gedanke des all meine Posts auf Social Media, meine Reals of Instagram und Facebook.

00:39:57: Meine Profilfotos auf WhatsApp

00:39:59: etc.,

00:40:00: meine Aufnahmen von Kameras auf öffentlichen Plätzen zum Beispiel von Palantir gesichtet, gespeichert, verarbeitet werden können oder schon werden weiß ich ist ziemlich beunräumt hinterlässt ein extrem mulmiges Gefühl bei mir.

00:40:21: andererseits Wenn eines meiner Familienmitglieder vermisst wäre, würde ich wahrscheinlich sofort zur Polizei rennen.

00:40:30: Bilder von Ihnen zeigen und darum fliehen dass man jedes zur Verfügung stehende Programm nutzen möge um sie zu finden.

00:40:41: Wie geht es euch damit?

00:40:43: Habt ihr möglicherweise auch schon eigene Erfahrungen gemacht in dieser Beziehung?

00:40:50: Schreibt meine Nachricht an info at schattenwissbande oder wahlweise eine Sprachmimo- oder Nachricht per WhatsApp.

00:40:59: Die Nummer findet ihr in den Shownotes, oder auf www.schattenwissbann.de.

00:41:07: Ich glaube wir stehen an einem Scheideweg.

00:41:10: Auf der einen Seite das Versprechen von mehr Sicherheit Von einer Polizei die Verbrechen immer ein Schritt voraus ist Auf der anderen Seite die Gefahr einer totalen Überwachung die unsere Grundrechte auswühlt und uns alle möglicherweise unter Generalverdacht stellt.

00:41:33: Eine Welt, in der undurchsichtige Algorithmen einer US-Firma vielleicht mitentscheiden, wer als Gefahr gilt?

00:41:44: Die Technologie ist da!

00:41:47: Die Technologie ist von Menschen gemacht – von Menschen, die nicht objektiv sind.

00:41:56: Noch ist die Technologie von Menschen Und ist die Technologie objektiv?

00:42:05: Die Pläne liegen auf dem Tisch, aber die entscheidenden Fragen zum Beispiel von korrektiv an das Innenministerium bleiben unbeantwortet.

00:42:17: Was wird das kosten?

00:42:19: Wie soll der Schutz unserer Daten garantiert werden und wo ziehen wir die rote Linie?

00:42:32: Und sie geht uns alle an.

00:42:35: Wichtig ist, meine ich, dass wir Menschen als solche aktiv bleiben die Kontrolle nicht aus der Hand geben demokratische menschliche Werte als höchsten Maßstab bei der Programmierung und Anwendung von technischen Hilfsmitteln anlegen.

00:42:57: In diesem Sinne bleibt offen, bleibt neugierig aber bleibt auch kritisch.

00:43:08: Schattenwissbern, der True Story Podcast der leidenschaftlichen Friedhofspaziergängerin Sonja Wolfer.

00:43:13: Wenn ihr Schatten-Wissbern unterstützen möchtet, dann freuen wir uns über ein Abo, schenkt ihm einen Herz, sprecht über den Podcast und teilt ihn!