Vereinigtes KönigreichÖffentlicher Sektor2025 – laufendSchottische Regierung
KI-Analyse von Stellungnahmen in Konsultationen mit Consult
Schottische Beamte gruppierten mit KI mehr als 2.000 Stellungnahmen aus einer Konsultation und erzielten ähnliche Ergebnisse wie menschliche Prüfer
Ausgangslage
Die Regierungen im Vereinigten Königreich führten jährlich rund 500 öffentliche Konsultationen durch. Bevor sie politische Vorhaben ausarbeiteten, lasen und kategorisierten Beamte die schriftlichen Stellungnahmen von Hand. Das beanspruchte erhebliche Arbeitszeit.
Vorgehen
Die schottische Regierung testete Consult anhand von Stellungnahmen zur Regulierung nichtoperativer kosmetischer Eingriffe wie Lippenunterspritzungen. Der Incubator for AI (i.AI) der britischen Regierung entwickelte das generative KI-Werkzeug als Teil seiner Humphrey-Suite. Consult schlug aus mehr als 2.000 Antworten auf sechs offene Fragen Themen vor und ordnete ihnen die Antworten zu. Fachleute der Regierung prüften und verfeinerten die Themen. Bei diesem ersten Einsatz unter realen Bedingungen prüften Beamte zusätzlich jede Antwort manuell, um die Ergebnisse zu vergleichen.
Kennzahlen
Erkenntnis
Während des Versuchs prüften Beamte jede Antwort von Hand. Die Übereinstimmung des Werkzeugs mit menschlichen Prüfern erreichte einen F1-Wert von 0,76. Jährliche Einsparungen von 75.000 Tagen und etwa 20 Millionen Pfund waren Prognosen für einen regierungsweiten Einsatz. Vor einer Ausweitung waren weitere Bewertungen geplant.
Kategorien
- Größe
- Großunternehmen
- Branche
- Öffentlicher Sektor
- Unternehmensfunktion
- Interne Abläufe und WissensmanagementStrategie und Organisation
- Innovationsart
- Prozessinnovation
- KI-Technologie
- Generative KI
- Einführung
- Gemeinsame Entwicklung mit Partnern
- Nachweis
- Angabe des Unternehmens
Quellen
Quellenzusammenfassungen
Das britische Ministerium für Wissenschaft, Innovation und Technologie (Department for Science, Innovation and Technology) berichtete, dass der erste Praxistest von Consult mehr als 2.000 Antworten auf sechs Fragen in Schottland umfasste. Der F1-Wert lag bei 0,76; Unterschiede zu menschlichen Prüfern veränderten die Rangfolge der Themen kaum. Das Ministerium prognostizierte jährliche Einsparungen von 75.000 Tagen und etwa 20 Millionen Pfund bei 500 Konsultationen. Bis zu einer weiteren Bewertung blieb das Werkzeug in der Erprobung.
Holyrood berichtete, der schottische Minister für öffentliche Gesundheit habe den Consult-Versuch begrüßt. Beteiligte Beamte hätten von erheblichen Zeitersparnissen gesprochen. Menschen prüften die Ergebnisse weiterhin. Die Einsparungszahlen der Regierung waren Prognosen.
Die Bewertung von i.AI ergab einen Multi-Label-F1-Wert von 0,76 und nur geringe Veränderungen der Themenrangfolge gegenüber menschlichen Prüfern. Der Median der Prüfzeit betrug 23 Sekunden je Antwort. Die Prüfer sahen Verbesserungsbedarf bei der Freigabe von Themen und der Erkennung fehlender Themen.
Ausführliche Angaben finden Sie in den Originalquellen.