영국공공2025 – 진행 중스코틀랜드 정부
공공 의견수렴 응답 AI 분석 도구 'Consult'
스코틀랜드 정부는 AI로 의견수렴 응답 2,000건 넘게 분류해 사람 검토와 비슷한 결과를 얻었다
문제
영국 정부기관들이 진행한 공공 의견수렴은 한 해 약 500건이었다. 공무원은 정책 초안을 쓰기 전에 서술형 응답을 일일이 읽고 분류해야 해 많은 시간을 들였다.
접근 방식
스코틀랜드 정부는 필러 시술 등 비수술 미용시술 규제에 관한 응답에 Consult를 시험 적용했다. 영국 정부 AI 조직 i.AI(Incubator for AI)가 Humphrey 도구 묶음의 하나로 만든 생성형 AI 도구다. Consult는 서술형 문항 6개에 대한 응답 2,000건 넘게 분석해 주제를 제안하고 응답을 분류했으며, 정부 전문가가 주제를 확인하고 다듬었다. 첫 실전 적용인 만큼 공무원도 모든 응답을 직접 검토해 결과를 비교했다.
주요 수치
시사점
공무원은 시험 기간 모든 응답을 직접 검토했으며, AI 분류와 사람 검토 결과의 일치도는 F1 점수 0.76이었다. 연간 7만5천 일과 약 2천만 파운드 절감은 정부 전반에 도입할 경우의 추정치였고, 확대에 앞서 추가 평가를 계획했다.
분류
출처
출처 요약
영국 과학기술부는 Consult의 첫 실전 시험에서 스코틀랜드의 문항 6개에 대한 응답 2,000건 넘게 분석했다고 밝혔다. F1 점수는 0.76이었으며 사람 검토와의 차이는 주제 순위에 거의 영향을 주지 않았다. 과학기술부는 연간 의견수렴 500건에 적용하면 7만5천 일과 약 2천만 파운드를 절감할 것으로 추산했다. 도구는 추가 평가를 앞두고 시험 단계에 머물렀다.
홀리루드는 스코틀랜드 공중보건 장관이 Consult 시험을 긍정적으로 평가했고 참여 공무원들이 많은 시간을 아꼈다고 말했다고 보도했다. 결과 검토에는 사람이 계속 참여했다. 정부가 제시한 절감 수치는 추정치였다.
i.AI 평가에서 다중 레이블 F1 점수는 0.76이었고 사람 검토 결과와 비교해 주제 순위에는 변화가 거의 없었다. 응답당 검토 시간 중앙값은 23초였다. 평가진은 주제 확정 절차와 누락 주제 탐지를 개선 과제로 꼽았다.
자세한 내용은 원문에 있습니다.