TaïwanTechnologies et télécoms2024 – en coursMediaTek
Petits modèles de langage Phi dans les puces Dimensity 9400
Le fabricant de puces MediaTek annonce une IA embarquée plus rapide de plus de 50 % avec les modèles Phi de Microsoft
Problématique
Les fabricants de téléphones voulaient que l’IA embarquée, comme la traduction, fonctionne avec une faible latence et une grande précision, sans connexion Internet continue.
Approche
MediaTek a utilisé des modèles Phi du catalogue Azure AI Foundry et intégré Phi-3.5 à ses puces Dimensity 9400. Elle a appliqué le décodage spéculatif dans Azure pour accélérer le traitement des jetons. Les données restent sur l’appareil.
Chiffres clés
Enseignement
MediaTek a indiqué que l’usage de petits modèles de langage avait rendu le traitement sur l’appareil plus rapide de plus de 50 % par rapport au modèle précédent, qui tournait à 12 jetons par seconde. Elle affirme aussi une efficacité énergétique supérieure de 30 %.
Catégories
- Secteur
- Technologies et télécoms
- Fonction de l’entreprise
- Informatique et R&D
- Type d’innovation
- Innovation de produits et services
- Technologie d’IA
- IA générative
- Mode d’adoption
- Solution d’un fournisseur
- Type de preuve
- Étude de cas fournisseur
Sources
Résumés des sources
Microsoft a décrit la façon dont MediaTek a intégré de petits modèles de langage à ses puces pour téléphones. Il a fait état de gains de vitesse et d’efficacité énergétique.
Les informations complètes figurent dans les sources d’origine.
