Coreia do SulTecnologia e telecomunicações2020–2021Scatter Lab
Iruda, chatbot de IA
Chatbot de startup treinado com conversas privadas de usuários foi retirado do ar em poucas semanas e multado pelo regulador de privacidade
Problema
A Scatter Lab, startup de Seul, queria um chatbot capaz de manter conversas naturais e amistosas em coreano. Já detinha grandes volumes de conversas do KakaoTalk que usuários haviam enviado a seus aplicativos de análise de relacionamentos, Science of Love e TextAt.
Abordagem
A empresa treinou o modelo Iruda com cerca de 9,4 bilhões de frases do KakaoTalk de aproximadamente 600.000 usuários de seus outros aplicativos e lançou o chatbot no Facebook Messenger no fim de 2020. Em um mês, atraiu mais de 750.000 usuários, mas no início de janeiro de 2021 foi criticado por respostas discriminatórias e de ódio e por expor dados pessoais, e foi retirado do ar. Em abril de 2021, a Comissão de Proteção de Informações Pessoais (Personal Information Protection Commission) constatou oito violações da lei de privacidade, incluindo o uso de nomes, telefones e endereços sem excluí-los ou criptografá-los, e impôs penalidades de 103,3 milhões de wons.
Números principais
Lição
A fluência do chatbot atraiu usuários rapidamente, mas o tratamento dos dados de treinamento causou o fracasso. O consentimento dado para um serviço não abrangia a reutilização em outro produto; o regulador tratou o caso como a primeira sanção a uma empresa de IA por tratamento de dados.
Categorias
- Porte
- Pequena empresa
- Função empresarial
- TI e P&DAtendimento ao cliente
- Tipo de inovação
- Inovação de produtos e serviços
- Tecnologia de IA
- IA conversacional e de voz
- Forma de adoção
- Desenvolvimento interno
- Objetivo
- Receita e experiência do cliente
- Evidência
- Órgão regulador, auditoria ou tribunal
Fontes
Resumos das fontes
A Byline Network relata a decisão de 28 de abril de 2021 da Comissão de Proteção de Informações Pessoais (Personal Information Protection Commission) contra a Scatter Lab, que totalizou 103,3 milhões de wons (uma sanção pecuniária de 55,5 milhões de wons e multas de 47,8 milhões de wons). Enumera oito violações: cinco ligadas aos aplicativos Science of Love e TextAt, duas ao Iruda e uma ao código publicado no GitHub. Informa que cerca de 9,4 bilhões de frases do KakaoTalk de aproximadamente 600.000 usuários foram utilizadas sem a remoção de nomes, telefones ou endereços.
O Future of Privacy Forum explica a decisão do regulador. Informa que o Iruda alcançou mais de 750.000 usuários do Facebook Messenger em menos de um mês, antes de uma controvérsia no início de janeiro de 2021 levar à sua retirada do ar. Detalha as constatações, incluindo a reutilização de dados além de sua finalidade original, a inclusão de 100 milhões de mensagens no banco de respostas, publicações no GitHub com dados pessoais e a coleta, sem consentimento dos pais, de dados de mais de 200.000 crianças com menos de 14 anos.
Os detalhes completos estão disponíveis nas fontes originais.
