일본제조2025 – 진행 중고마쓰
AI 기반 기술 지식 검색
고마쓰는 검색 중심 AI를 택해 테스트에서 검색 재현율을 0.775에서 0.888로 높였다
문제
고마쓰의 설계자들은 일치 검색으로는 관련 기술 지식을 찾기 어려웠다. 경험이 적은 엔지니어는 효과적으로 검색할 용어를 모르는 경우가 많았다.
접근 방식
고마쓰는 AI-OCR과 언어 모델을 결합해 기술 문서를 구조화하고 설계자가 결과를 확인하게 했다. 요약 기반 인터페이스와 검색 중심 인터페이스를 설계자와 함께 시험한 뒤, 요약에서 그럴듯한 오류가 나와 검색 지원을 택했다. 하이브리드 검색 뒤 언어 모델로 순위를 다시 매기자 측정된 재현율이 올랐다.
주요 수치
0.888단순 프롬프트 LLM 재순위화 적용 시 검색 재현율(재순위화 없을 때 0.775, 고마쓰 발표)
시사점
설계자들은 어떤 원문을 읽을지 판단하는 데 도움이 되는 순위별 참고 자료를 선호했다. 답변을 생성하면 오류가 생겨 실제 쓸모가 떨어졌다.
분류
출처
출처 요약
[1]Komatsu2025년
고마쓰는 기술 지식 시스템에 대한 설계자 평가와 검색 실험을 기록했다. 단순 프롬프트로 순위를 다시 매기면 재현율이 0.775에서 0.888로 올랐고, 설계자 테스트에서는 생성된 요약보다 검색 지원이 선호됐다.
자세한 내용은 원문에서 확인하실 수 있습니다.
등록일 2026년 11월 1일 · 수정일 2026년 11월 1일