미국부동산2025 – 진행 중퍼스트 아메리칸 데이터 앤드 애널리틱스
과거 권원보험증권 이미지에서 데이터를 추출하는 미세조정 언어 모델
퍼스트 아메리칸 데이터 앤드 애널리틱스가 권원보험증권 이미지로 오픈소스 언어 모델을 미세조정해 추출 비용을 70% 줄였다
문제
퍼스트 아메리칸 데이터 앤드 애널리틱스는 1930년대로 거슬러 올라가는 과거 권원보험증권 이미지 약 400만 장을 보유했는데, 메타데이터는 거의 없었다. 팀은 페이지마다 유형을 분류하고, 100개 넘는 데이터 항목을 추출하고, 모든 기록을 부동산과 연결해야 했다. 기존 방식은 느리고 비쌌으며, 상용 언어 모델은 처음에는 정확도가 부족했다.
접근 방식
팀은 데이터브릭스 플랫폼에서 오픈소스 모델(미스트랄, 라마 3, 라마 3.1)을 미세조정했고 라마 3.2는 시험 중이다. 애저 스토리지에서 최종 목적지까지 데이터를 스트리밍하는 운영 파이프라인을 만들고 모델은 MLflow로 관리한다. 데이터브릭스는 모델 학습 서비스를 먼저 쓰게 해 주었고, 두 팀은 거의 매일 함께 일했다. 초기 시험과 미세조정에는 2주 남짓 걸렸다.
주요 수치
시사점
더 작은 오픈소스 모델을 자사 문서 보관분으로 미세조정해 비용이 더 드는 방식을 대체했고, 훨씬 큰 규모의 추출 작업도 맡게 됐다.
분류
출처
출처 요약
데이터브릭스는 퍼스트 아메리칸 데이터 앤드 애널리틱스가 오픈소스 언어 모델을 미세조정해 과거 권원보험증권 이미지 약 400만 장에서 데이터를 뽑아낸다고 설명했다. 기존 구현 대비 비용이 70% 줄고 프로젝트 시간이 75% 단축됐으며, 추출한 데이터 항목이 10배로 늘었다고 밝혔다. 회사의 소재지와 규모는 언급하지 않았다.
자세한 내용은 원문에서 확인하실 수 있습니다.
