Reino UnidoSetor público2025 – em andamentoGoverno da Escócia (Scottish Government)
Análise de respostas a consultas públicas com o Consult, ferramenta de IA
Funcionários do governo escocês usaram IA para agrupar mais de 2.000 respostas a consulta pública, com resultados próximos aos de revisores humanos
Problema
Os governos do Reino Unido realizavam cerca de 500 consultas públicas por ano. Antes de elaborar propostas de políticas públicas, servidores liam e classificavam manualmente as respostas por escrito, o que consumia uma parcela substancial de seu tempo.
Abordagem
O governo da Escócia testou o Consult em respostas sobre a regulamentação de procedimentos estéticos não cirúrgicos, como preenchimentos labiais. A Incubadora de IA do governo britânico (Incubator for AI, i.AI) desenvolveu a ferramenta de IA generativa como parte do conjunto Humphrey. O Consult propôs temas a partir de mais de 2.000 respostas a seis perguntas abertas e classificou as respostas nesses temas, enquanto especialistas do governo conferiam e refinavam os temas. Nessa primeira aplicação em operação real, os funcionários também revisaram manualmente cada resposta para comparar os resultados.
Números principais
Lição
Os funcionários conferiram manualmente cada resposta durante o teste e mediram a concordância da ferramenta com os revisores humanos, obtendo uma pontuação F1 de 0,76. A economia anual de 75.000 dias e cerca de £ 20 milhões era uma projeção para o uso em todo o governo, com nova avaliação prevista antes da expansão.
Categorias
- Porte
- Grande empresa
- Setor
- Setor público
- Função empresarial
- Trabalho interno e gestão do conhecimentoEstratégia e organização
- Tipo de inovação
- Inovação de processos
- Tecnologia de IA
- IA generativa
- Forma de adoção
- Codesenvolvimento com parceiros
- Evidência
- Declaração da própria empresa
Fontes
Resumos das fontes
O Departamento de Ciência, Inovação e Tecnologia do Reino Unido (Department for Science, Innovation and Technology) informou que o primeiro teste do Consult em operação real abrangeu mais de 2.000 respostas a seis perguntas na Escócia. A pontuação F1 foi de 0,76, e as diferenças em relação aos revisores humanos quase não alteraram a classificação dos temas por ordem de importância. O departamento projetou uma economia anual de 75.000 dias e cerca de £ 20 milhões em 500 consultas. A ferramenta permanecia em fase de testes, à espera de nova avaliação.
A Holyrood noticiou que a ministra da Saúde Pública da Escócia recebeu favoravelmente o teste do Consult e que os funcionários participantes disseram ter economizado tempo substancial. As pessoas continuaram a revisar os resultados. Os números de economia apresentados pelo governo eram projeções.
A avaliação da i.AI encontrou uma pontuação F1 multirrótulo de 0,76 e pouca mudança na classificação dos temas em comparação com os revisores humanos. A mediana do tempo de revisão foi de 23 segundos por resposta. Os avaliadores identificaram a aprovação dos temas e a detecção de temas ausentes como pontos a melhorar.
Os detalhes completos estão disponíveis nas fontes originais.