TaiwanTecnologia e telecomunicações2024 – em andamentoMediaTek
Modelos de linguagem pequenos Phi nos chips Dimensity 9400
Fabricante de chips MediaTek informa IA no dispositivo mais de 50% mais rápida com os modelos Phi da Microsoft
Problema
Os fabricantes de celulares queriam que IA no dispositivo, como tradução, funcionasse com baixa latência e alta precisão, sem conexão constante com a internet.
Abordagem
A MediaTek usou modelos Phi do catálogo do Azure AI Foundry e incorporou o Phi-3.5 aos seus chipsets Dimensity 9400. Aplicou no Azure a decodificação especulativa para acelerar o processamento de tokens. Os dados permanecem no dispositivo.
Números principais
Lição
A MediaTek informou que o uso de modelos de linguagem pequenos tornou o processamento no dispositivo mais de 50% mais rápido que o modelo anterior, que operava a 12 tokens por segundo. Também afirma ter obtido eficiência energética 30% melhor.
Categorias
- Função empresarial
- TI e P&D
- Tipo de inovação
- Inovação de produtos e serviços
- Tecnologia de IA
- IA generativa
- Forma de adoção
- Solução de fornecedor
- Evidência
- Caso de cliente do fornecedor
Fontes
Resumos das fontes
A Microsoft descreveu como a MediaTek incorporou modelos de linguagem pequenos a seus chips para celulares. A empresa informou ganhos de velocidade e de eficiência energética.
Os detalhes completos estão disponíveis nas fontes originais.
