TaiwanTechnologie und Telekommunikation2024 – laufendMediaTek
Kleine Sprachmodelle der Phi-Familie in Dimensity-9400-Chips
Chiphersteller MediaTek meldet mit Microsofts Phi-Modellen mehr als 50 % schnellere KI auf dem Gerät
Ausgangslage
Smartphone-Hersteller wollten KI auf dem Gerät, etwa für Übersetzungen, mit geringer Latenz und hoher Genauigkeit und ohne stetige Internetverbindung betreiben.
Vorgehen
MediaTek nutzte Phi-Modelle aus dem Katalog von Azure AI Foundry und integrierte Phi-3.5 in seine Dimensity-9400-Chipsätze. Mit spekulativem Decoding in Azure beschleunigte das Unternehmen die Verarbeitung der Token. Die Daten bleiben auf dem Gerät.
Kennzahlen
Erkenntnis
MediaTek meldete, dass kleine Sprachmodelle die Verarbeitung auf dem Gerät um mehr als 50 % schneller machten als das frühere Modell, das 12 Token pro Sekunde verarbeitete. Zudem nennt das Unternehmen eine um 30 % bessere Energieeffizienz.
Kategorien
- Unternehmensfunktion
- IT und F&E
- Innovationsart
- Produkt- und Dienstleistungsinnovation
- KI-Technologie
- Generative KI
- Einführung
- Anbieterlösung
- Nachweis
- Fallstudie des Anbieters
Quellen
Quellenzusammenfassungen
Microsoft beschrieb, wie MediaTek kleine Sprachmodelle in seine Smartphone-Chips integrierte. Das Unternehmen meldete Verbesserungen bei der Verarbeitungsgeschwindigkeit und der Energieeffizienz.
Ausführliche Angaben finden Sie in den Originalquellen.
