SüdkoreaTechnologie und Telekommunikation2020–2021Scatter Lab
KI-Chatbot Iruda
Ein mit privaten Nutzerchats trainierter Chatbot eines Start-ups wurde binnen Wochen zurückgezogen; die Datenschutzbehörde verhängte Geldbußen
Ausgangslage
Das Seouler Start-up Scatter Lab wollte einen Chatbot entwickeln, der natürliche, freundliche Gespräche auf Koreanisch führen konnte. Das Unternehmen verfügte bereits über große Mengen an KakaoTalk-Unterhaltungen, die Nutzer in seine Beziehungsanalyse-Apps Science of Love und TextAt hochgeladen hatten.
Vorgehen
Das Unternehmen trainierte das Iruda-Modell mit etwa 9,4 Milliarden KakaoTalk-Sätzen von rund 600.000 Nutzern seiner anderen Apps und veröffentlichte den Chatbot Ende 2020 auf Facebook Messenger. Innerhalb eines Monats gewann er mehr als 750.000 Nutzer. Anfang Januar 2021 wurde er jedoch wegen hasserfüllter und diskriminierender Antworten sowie der Offenlegung personenbezogener Daten kritisiert und vom Netz genommen. Im April 2021 stellte die Datenschutzkommission (Personal Information Protection Commission) acht Verstöße gegen das Datenschutzgesetz fest. Dazu gehörte die Verwendung von Namen, Telefonnummern und Adressen, ohne sie zu löschen oder zu verschlüsseln. Die Behörde verhängte Sanktionen von 103,3 Millionen KRW.
Kennzahlen
Erkenntnis
Die flüssigen Antworten des Chatbots zogen schnell Nutzer an, doch der Umgang mit den Trainingsdaten führte zum Scheitern. Die Einwilligung für einen Dienst deckte die Wiederverwendung in einem anderen Produkt nicht ab. Die Behörde behandelte den Fall als erste Sanktion gegen ein KI-Unternehmen wegen seines Umgangs mit Daten.
Kategorien
- Größe
- Kleinunternehmen
- Unternehmensfunktion
- IT und F&EKundenservice
- Innovationsart
- Produkt- und Dienstleistungsinnovation
- KI-Technologie
- Dialog- und Sprach-KI
- Einführung
- Eigenentwicklung
- Nachweis
- Aufsichtsbehörde, Prüfung oder Gericht
Quellen
Quellenzusammenfassungen
Byline Network berichtet über die Entscheidung der Datenschutzkommission (Personal Information Protection Commission) vom 28. April 2021 gegen Scatter Lab über insgesamt 103,3 Millionen KRW: einen Strafzuschlag von 55,5 Millionen KRW und Geldbußen von 47,8 Millionen KRW. Der Bericht nennt acht Verstöße, davon fünf im Zusammenhang mit den Apps Science of Love und TextAt, zwei mit Iruda und einen mit auf GitHub veröffentlichtem Code. Etwa 9,4 Milliarden KakaoTalk-Sätze von rund 600.000 Nutzern wurden verwendet, ohne Namen, Telefonnummern oder Adressen zu entfernen.
Das Future of Privacy Forum erläutert die Entscheidung der Behörde. Demnach erreichte Iruda in weniger als einem Monat mehr als 750.000 Nutzer auf Facebook Messenger, bevor die Kontroverse Anfang Januar 2021 zur Abschaltung führte. Das Forum beschreibt die Feststellungen im Einzelnen: die zweckfremde Wiederverwendung von Daten, die Aufnahme von 100 Millionen Nachrichten in die Antwortdatenbank, GitHub-Veröffentlichungen mit personenbezogenen Angaben und Daten von über 200.000 Kindern unter 14 Jahren, die ohne elterliche Einwilligung erhoben wurden.
Ausführliche Angaben finden Sie in den Originalquellen.
