Đài LoanCông nghệ và viễn thông2024 – đang tiếp diễn

MediaTek

Mô hình ngôn ngữ nhỏ Phi trong chip Dimensity 9400

Nhà sản xuất chip MediaTek cho biết tốc độ xử lý AI trên thiết bị tăng hơn 50% khi dùng các mô hình Phi của Microsoft

Đã có kết quảNghiên cứu trường hợp của nhà cung cấpNhà cung cấp ↗

Vấn đề

Các nhà sản xuất điện thoại muốn các tính năng AI chạy trên thiết bị, chẳng hạn dịch thuật, có độ trễ thấp và độ chính xác cao mà không cần kết nối internet ổn định.

Cách tiếp cận

MediaTek dùng các mô hình Phi trong danh mục Azure AI Foundry và đưa Phi-3.5 vào chipset Dimensity 9400. Công ty áp dụng kỹ thuật giải mã suy đoán trên Azure để tăng tốc xử lý token. Dữ liệu được giữ trên thiết bị.

Số liệu chính

>50%Mức tăng tốc độ xử lý AI so với mô hình trước (trước đó là 12 token mỗi giây)Nghiên cứu trường hợp của nhà cung cấp[1]

30%Mức hiệu suất năng lượng cao hơn trong các chip của công tyNghiên cứu trường hợp của nhà cung cấp[1]

Bài học

MediaTek cho biết việc dùng các mô hình ngôn ngữ nhỏ giúp tăng hơn 50% tốc độ xử lý trên thiết bị so với mô hình trước, vốn chạy ở tốc độ 12 token mỗi giây. Công ty cũng cho rằng hiệu suất năng lượng tốt hơn 30%.