미국공공2025 – 진행 중미국 국립표준기술연구소
NCCoE 내부 사이버보안 지침 챗봇
NIST는 기준 질문 약 100개로 내부 사이버보안 챗봇을 시험했고 자동 채점에서 결함을 발견했다
문제
엔지니어들은 NCCoE 사이버보안 간행물에서 특정 지침을 찾아야 했다. 일반 언어 모델의 답변은 필요한 세부 내용이나 근거 자료가 부족할 수 있었다.
접근 방식
NIST와 MITRE 참여자들은 쪽 단위로 출처를 다는 검색 증강 챗봇을 만들었다. NCCoE는 엔지니어의 시험과 업무용으로 이 챗봇을 내부에 구축했다. 연구팀은 준비한 질문 세트와 제한적인 수작업 검토로 답변을 평가했다.
주요 수치
about 100내부 평가용으로 기준 답변을 마련한 질문 수
시사점
자동 채점이 빈 답변에 점수를 주는 경우가 있었다. 연구팀은 자동 채점이 개발에는 도움이 되지만 엄밀한 사람의 평가를 대신할 수는 없다고 결론지었다.
분류
출처
출처 요약
[1]National Institute of Standards and Technology2025년 7월
NIST의 최초 공개 초안은 내부에 구축한 시제품을 기록했다. 시험에서 답변의 한계와 모델 기반 채점의 약점이 드러났고, 더 폭넓은 사람의 평가가 여전히 필요했다.
자세한 내용은 원문에서 확인하실 수 있습니다.
등록일 2026년 11월 1일 · 수정일 2026년 11월 1일