TaiwánTecnología y telecomunicaciones2024 – en cursoMediaTek
Modelos de lenguaje pequeños Phi en los chips Dimensity 9400
El fabricante de chips MediaTek comunica una IA en el dispositivo más de un 50% más rápida con los modelos Phi de Microsoft
Problema
Los fabricantes de teléfonos querían que la IA en el dispositivo, como la traducción, funcionara con baja latencia y alta precisión, sin una conexión constante a internet.
Enfoque
MediaTek utilizó modelos Phi del catálogo de Azure AI Foundry e incorporó Phi-3.5 a sus chipsets Dimensity 9400. Aplicó decodificación especulativa en Azure para acelerar el procesamiento de tokens. Los datos permanecen en el dispositivo.
Cifras clave
Conclusión
MediaTek comunicó que el uso de modelos de lenguaje pequeños aceleró el procesamiento en el dispositivo en más de un 50% respecto al modelo anterior, que funcionaba a 12 tokens por segundo. Afirma además una mejora del 30% en la eficiencia energética.
Categorías
- Función empresarial
- TI e I+D
- Tipo de innovación
- Innovación de productos y servicios
- Tecnología de IA
- IA generativa
- Adopción
- Solución de un proveedor
- Respaldo
- Caso de cliente del proveedor
Fuentes
Resúmenes de fuentes
Microsoft describió cómo MediaTek incorporó modelos de lenguaje pequeños a sus chips para teléfonos. Indicó mejoras de velocidad y de eficiencia energética.
La información completa figura en las fuentes originales.
