미국IT·통신2023 – 진행 중옐프
리뷰 속 부적절한 표현을 가려내는 LLM
옐프의 언어 모델이 2023년 검수 담당자를 도와 리뷰 2만 3,600건 이상의 게시를 막았다
문제
옐프는 협박, 괴롭힘, 음란한 표현, 인신공격, 혐오 발언을 리뷰에서 걸러내야 했다. 검수 담당자가 들어오는 리뷰를 모두 읽을 수는 없었다.
접근 방식
옐프의 머신러닝 팀은 허깅페이스 허브의 언어 모델을 가볍게 미세 조정해 리뷰를 적절한 것과 부적절한 것으로 분류하게 했다. 팀은 시뮬레이션 트래픽에서 높은 정밀도를 우선하도록 판정 임계값을 정했다. 이후 모델을 실제 트래픽에 적용했고, 걸러진 리뷰는 옐프의 사용자 운영팀이 수작업으로 검토했다.
주요 수치
2만 3,600건 이상2023년 모델의 도움으로 검수 담당자가 게시 전에 막은 리뷰 수(옐프 발표)
시사점
옐프는 최종 판단을 사람에게 맡기고 모델을 정밀도에 맞춰 조정해, 검수 담당자가 규정 위반 가능성이 가장 높은 리뷰만 보게 했다.
분류
출처
출처 요약
[1]Yelp Engineering Blog2024년 3월 12일
옐프의 머신러닝 엔지니어는 회사가 심한 리뷰를 가려내려고 언어 모델을 미세 조정한 과정과 이를 서비스 뒤에 배포한 방식을 설명했다. 걸러진 리뷰는 사람 검수 담당자에게 넘어간다. 옐프는 이 시스템이 2023년 리뷰 2만 3,600건 이상의 게시를 막는 데 도움이 됐다고 밝혔다. 정밀도와 재현율 수치는 제시하지 않았다.
자세한 내용은 원문에서 확인하실 수 있습니다.
등록일 2026년 11월 2일 · 수정일 2026년 11월 2일