영국공공2023 – 진행 중영국 교통부(DfT)
주제 분석용 의견 수렴 분석 도구
DfT의 의견 수렴 도구는 실제 파일럿에서 사람이 수정한 주제 매핑 대비 F1 0.93을 기록했다
문제
자유 서술형 의견 수렴 응답을 사람이 분석하려면 직원의 시간이 많이 들었다. 대규모 의견 수렴에서는 분석가가 표본만 보고 작업해야 할 수도 있었다.
접근 방식
DfT와 앨런 튜링 연구소는 구글의 제미나이 모델로 CAT를 개발했다. 이 도구가 주제를 생성하면 연구자가 검토하고, 도구가 그 주제에 맞춰 응답을 분류했다. 팀은 블라인드 벤치마크와 실제 파일럿으로 시스템을 평가했다.
주요 수치
0.93블라인드가 아닌 실제 파일럿에서 사람이 수정한 분류 대비 주제 매핑 F1, DfT 발표 기준
0.75블라인드 평가에서 사람 기준 대비 주제 매핑 F1, DfT 발표 기준
시사점
실제 파일럿의 비교에서는 AI 분류를 보고 수정할 수 있는 사람 검토자가 쓰였다. 이 점수는 블라인드 테스트 결과로 볼 수 없다.
분류
출처
출처 요약
[1]Department for Transport2025년 12월 23일
DfT는 실제 의견 수렴과 블라인드 벤치마크 결과를 밝혔다. 주제 매핑 F1은 사람이 수정한 파일럿 분류 대비 0.93, 블라인드 평가에서는 0.75였다.
자세한 내용은 원문에서 확인하실 수 있습니다.
등록일 2026년 11월 1일 · 수정일 2026년 11월 1일