대만IT·통신2024 – 진행 중미디어텍
디멘시티 9400 칩에 Phi 소형 언어모델 탑재
미디어텍, Microsoft Phi 모델로 온디바이스 AI 속도 50% 넘게 향상 주장
문제
스마트폰 제조사들은 번역 같은 AI 기능이 안정적인 인터넷 연결이 없어도 낮은 지연과 높은 정확도로 돌아가기를 원했다.
접근 방식
미디어텍은 Azure AI Foundry 카탈로그의 Phi 모델을 쓰고 Phi-3.5를 디멘시티 9400 칩셋에 넣었다. Azure에서 추측 디코딩으로 토큰 처리 속도를 높였다. 데이터는 기기 안에 남는다.
주요 수치
>50%이전 모델 대비 AI 처리 속도 향상(기존 초당 12토큰)
30%칩의 전력 효율 개선
시사점
미디어텍은 소형 언어모델로 온디바이스 처리 속도가 초당 12토큰이던 이전 모델보다 50% 넘게 빨라졌다고 밝혔다. 전력 효율도 30% 개선됐다고 주장한다.
분류
출처
출처 요약
[1]Microsoft2025년 5월 2일
대만 반도체 기업이 소형 언어모델을 스마트폰 칩에 넣은 과정을 설명한다. 속도와 전력 효율 개선 수치를 제시한다.
자세한 내용은 원문에 있습니다.
등록일 2026년 10월 25일 · 수정일 2026년 10월 25일
