Ein Onlineshop-Betreiber in Köln ließ seine KI Rücksendeanfragen automatisch ablehnen, wenn bestimmte Kriterien erfüllt waren. Nach drei Monaten gab es vermehrt negative Bewertungen wegen ungerechtfertigter Ablehnungen.
KI als Empfehlungssystem, nicht als Entscheidungsträger
Das Problem war nicht die KI, sondern die fehlende menschliche Kontrolle. Das System hatte Muster aus historischen Daten gelernt, darunter auch fehlerhafte Entscheidungen aus der Vergangenheit.
Rechtlich gesehen liegt die Verantwortung immer beim Betrieb, nicht beim Anbieter des KI-Tools.
Welche Entscheidungen besser manuell bleiben sollten
Alles, was Kunden direkt betrifft und anfechtbar ist, sollte zumindest eine manuelle Prüfmöglichkeit haben. Dazu gehören Ablehnungen, Sperren, Preisanpassungen und Vertragsbeendigungen.
Das bedeutet nicht, dass KI hier nicht unterstützen kann. Es bedeutet, dass ein Mensch das finale Okay geben sollte.
Dokumentation als Schutz
Wer nachweisen kann, dass er KI-Empfehlungen geprüft und bewusst angewendet hat, steht rechtlich besser da als jemand, der den Prozess vollständig automatisiert hat.
Eine einfache Notiz im CRM, wer eine Entscheidung wann auf Basis welcher Information getroffen hat, kann im Streitfall entscheidend sein.
Bereiche mit hohem Haftungsrisiko bei KI-Einsatz
- Automatische Vertragsablehnungen oder -beendigungen
- Preisdiskriminierung durch dynamische Preismodelle
- Kreditentscheidungen und Zahlungsausfallprognosen