AustráliaServiços profissionais2024–2025Deloitte Australia
Relatório de auditoria governamental assistido por IA
A Deloitte reembolsou parte de um contrato governamental de A$ 440.000 depois que seu relatório assistido por IA citou fontes inexistentes
Problema
O Departamento de Emprego e Relações de Trabalho da Austrália contratou a Deloitte para revisar o sistema de TI que automatiza penalidades no sistema de assistência social. Relatórios de asseguração desse tipo dependem de citações corretas de leis e pesquisas.
Abordagem
A Deloitte assinou o contrato, de cerca de A$ 440.000, em dezembro de 2024 e entregou o relatório em julho de 2025. Um acadêmico da Universidade de Sydney encontrou então referências a artigos que pareciam não existir, afirmações inventadas atribuídas a estudiosos e uma citação inventada de uma decisão do Tribunal Federal no caso robo-debt. A Deloitte publicou uma versão corrigida que informava o uso de uma cadeia de ferramentas de IA generativa baseada no Azure OpenAI GPT-4o, hospedada no ambiente Azure do próprio departamento. A Deloitte e o departamento disseram que as conclusões e recomendações não mudaram, e a Deloitte reembolsou parte dos honorários.
Números principais
Lição
A Deloitte só revelou o uso de IA depois que um leitor externo encontrou os erros; sua própria revisão não os havia detectado. O reembolso foi uma pequena parcela dos honorários.
Categorias
- Porte
- Grande empresa
- Função empresarial
- Trabalho interno e gestão do conhecimento
- Tipo de inovação
- Inovação de processos
- Tecnologia de IA
- IA generativa
- Forma de adoção
- Ferramenta ou plataforma pronta para uso
- Objetivo
- Produtividade e agilidade
- Evidência
- Órgão regulador, auditoria ou tribunal
Fontes
Resumos das fontes
Informa que a Deloitte reembolsaria parcialmente o governo pelo relatório publicado em julho. Lista os erros identificados pelo acadêmico Chris Rudge, da Universidade de Sydney, entre eles referências a artigos que parecem não existir e uma citação inventada de um juiz do Tribunal Federal no caso robo-debt. Afirma que o relatório revisado informava uma cadeia de ferramentas de IA generativa baseada no Azure OpenAI GPT-4o e que a Deloitte disse que as conclusões não foram afetadas.
Informa que um porta-voz do departamento disse que a Deloitte havia reembolsado mais de A$ 97.000, menos de um quarto de um contrato originalmente avaliado em cerca de A$ 440.000 no AusTender e assinado em dezembro de 2024. Descreve o relatório como uma revisão de asseguração do sistema de TI que automatiza penalidades da assistência social. Cita o departamento dizendo que algumas notas de rodapé e referências estavam erradas, mas que a substância da revisão se mantém.
Os detalhes completos estão disponíveis nas fontes originais.
