スコットランド政府
Consultによる意見公募への回答のAI分析
スコットランド政府、2,000件超の意見公募回答をAIで分類、人の評価に近い結果
課題
英国の各政府は年間約500件の意見公募を実施していた。公務員は政策の立案前に、書面の回答を手作業で読んで分類しており、多くの時間を費やしていた。
取り組み
スコットランド政府は、唇への充填剤注入など、外科手術を伴わない美容施術の規制に関する回答でConsultを試験運用した。英国政府のAI育成組織Incubator for AI(i.AI)が、Humphreyツール群の一部として開発した生成AIツールである。Consultは六つの自由回答式質問に寄せられた2,000件超の回答からテーマを提案し、回答を各テーマに分類した。政府の専門家がテーマを確認し、修正した。初の実務利用に当たり、職員は結果を比較するため、すべての回答を手作業でも確認した。
主な数値
示唆
職員は試験中、すべての回答を手作業で確認し、人の評価との一致度をF1スコア0.76と測定した。年間7万5,000日、約2,000万ポンドの削減は政府全体で利用した場合の試算であり、拡大前に追加評価を行う計画だった。
分類
- 規模
- 大企業
- 業種
- 公共部門
- 業務機能
- 社内業務・ナレッジ管理戦略・組織
- イノベーションの類型
- プロセス・イノベーション
- AI技術
- 生成AI
- 導入形態
- パートナーとの共同開発
- 根拠
- 企業自身の発表
出典
出典の要約
英科学・イノベーション・技術省(Department for Science, Innovation and Technology)によると、Consultの初の実務試験はスコットランドで六つの質問に寄せられた2,000件超の回答を対象とした。F1スコアは0.76で、人の評価との差がテーマの順位に与える影響はごく小さかった。同省は500件の意見公募全体で、年間7万5,000日、約2,000万ポンドを削減できると試算した。ツールは追加評価を待つ試験段階にとどまっていた。
Holyroodは、スコットランドの公衆衛生担当閣僚がConsultの試験を歓迎し、参加した職員が大幅な時間短縮につながったと述べたと報じた。結果の確認は引き続き人が担った。政府の削減数値は試算だった。
i.AIの評価では、マルチラベル分類のF1スコアは0.76で、人の評価と比べてテーマの順位はほとんど変わらなかった。回答一件当たりの確認時間の中央値は23秒だった。評価担当者は、テーマの承認と見落としたテーマの検出を改善点に挙げた。
詳細は原典でご確認いただけます。