미국전문 서비스2024 – 진행 중DDI
리더십 행동 시뮬레이션의 자동 채점
DDI가 리더십 평가 채점을 자동화해 시뮬레이션 보고서 작성 시간을 48시간에서 10초로 줄였다
문제
DDI는 응시자가 업무 상황에 대응하는 행동 시뮬레이션으로 리더를 평가한다. 사람 평가자가 응답을 채점했고 보고서 하나에 보통 24~48시간이 걸렸다. DDI는 더 빠르고 저렴한 평가를 원했다.
접근 방식
DDI는 GPT-4로 퓨샷, 사고 사슬, 셀프 애스크 프롬프트 등 프롬프트 엔지니어링을 시험했다. 이어 데이터브릭스 플랫폼에서 DSPy로 프롬프트를 최적화하고 Llama3-8b를 지시 미세조정했다. 실험은 MLflow로 추적했으며, 모델은 유니티 카탈로그 거버넌스 아래 서빙 엔드포인트로 배포했다.
주요 수치
10초시뮬레이션 보고서 생성 시간(기존 48시간), 데이터브릭스 기준
시사점
훈련된 사람 평가자에게 의존하던 채점이 프롬프트 조정과 모델 미세조정을 거치자 모델이 몇 초 만에 끝내는 작업이 됐다. 사람 평가자와 비교한 채점 정확도 수치는 공개되지 않았다.
분류
- 규모
- 중견·성장기업
- 산업
- 전문 서비스
- 경영 기능
- 사내 업무·지식관리
- AI 기술
- 생성형 AI
- 도입 방식
- 플랫폼·범용 도구 활용
- 근거
- 공급사 사례
출처
출처 요약
[1]Databricks2024년 8월 21일
데이터브릭스는 리더십 개발 및 평가 기업 DDI가 프롬프트 엔지니어링과 미세조정한 Llama3-8b 모델로 행동 시뮬레이션 채점을 자동화했다고 설명했다. 시뮬레이션 보고서 작성 시간이 기존 48시간에서 10초로 줄었다고 밝혔다.
자세한 내용은 원문에서 확인하실 수 있습니다.
등록일 2026년 11월 4일 · 수정일 2026년 11월 4일