Da sehe ich weniger das Problem. Dumme Abenteuer gab es immer (sonst gebe es keine Hitlisten von den schlimmsten DSA- Fails), aber hier hat der SL die Möglichkeit kreativ zu werden.
Gefährlicher sehe ich den Daten Bias. Die „KI“ gibt die Daten zurück, mit denen sie gefüttert wird. Wenn diese Daten schlecht sind, ist das Ergebnis schlecht (Trash in, trash out). Ich muss jetzt nicht an einen Diktator denken, der absichtlich falsche Daten eingibt, sondern nur an eine Firma, die zur Kostenminimierung die Kontrolle vernachlässigt, also eine gratis Datenbank nimmt, die keine repräsentativen Daten verwendet, zur Datenannotation Billiglohnkräfte verwendet, die nach der Menge und nicht der Genauigkeit arbeiten, und bei Bezahlung auch ein paar Daten nach vorne reiht.
Ob man dem daraus entstehenden Algorithmus trauen soll? Aber der Computer hat es doch errechnet werden viele sagen und auch Wissenschaftler sagen uns wir sollen der KI wie einem Orakel vertrauen, weil eine KI ist so schlau, dass sie den Weltbesten GO-Spieler in Go schlägt. Tut sie, wenn man ihr die GO-Regeln richtig eingegeben hat. Wie Schach ein sehr einfacher Algorithmus. Da ist das Leben an sich ein wenig komplexer.
Ein nettes Beispiel finde ich den Hund-Wolf-Test. Eine KI bekommt Fotos von Hunden und Wölfen zu sehen und entscheidet, ob Hund oder Wolf. Bei den Testbildern wird sie immer korrigiert, wenn sie etwas falsch bewertet, bis sie einen Algorithmus gefunden hat, der passt. Dann wird der Algorithmus auf Validierungsdaten angewendet, um zu prüfen ob er funktioniert. Er tut. Dann in der Realität. Und nun gibt es Fehler. Warum? Auf allen Test- und Validierungsbildern waren die Wölfe im Schnee. Also lernte die KI den Algorithmus „Wenn auf dem Bild Schnee ist, ist es ein Wolf.“
Eine Spielerei wird man sagen. Ja, aber wir diskutieren über Abschusserlaubnis von Wölfen in Siedlungsgebieten. Wenn wir davon ausgehen „Alles im Schnee ist ein Wolf“ Dann gibt es vom Jogger im Winter bis zu den rodelnden Kindern eine Abschusserlaubnis.
Hier war der Algorithmus leicht zu finden. Bei Fragen wie hoch soll der Zinssatz sein, wer erhält einen Kredit, welchen Kandidaten lade ich zum Jobgespräch ein, etc. Kann der Algorithmus doch ein wenig komplexer sein. Wenn hier die KI einen Fehler aufgrund eines schlechten Lernmodells, verschmutzter Daten, schlechter Annotation, etc. macht, dann ist es schwer dies zu erkennen, vor allem wenn man es nicht hinterfragen darf, denn die KI ist so gescheit, das Ergebnis soll man einfach glauben.
Hier stellen sich mir die Haare auf.