LPU & moteurs wafer-scale
DisponibleDeux approches pour franchir le mur mémoire de l'IA : la LPU déterministe de Groq pour l'inférence à faible latence, et le moteur wafer-scale de Cerebras pour un SRAM massif sur puce.
Aperçu
La Language Processing Unit (LPU) adopte une approche d'inférence déterministe et planifiée statiquement : pas de caches, pas d'exécution spéculative, un dataflow compilé offrant un Time-To-First-Token très prévisible. Cela la rend adaptée à l'inférence interactive sensible à la latence.
Le Wafer-Scale Engine (WSE) va à l'extrême opposé sur la capacité : un wafer entier comme une seule puce, avec un énorme SRAM sur puce qui garde les poids du modèle résidents et supprime les allers-retours DRAM qui freinent l'entraînement des grands modèles.
Points de douleur
Goulot DRAM
Le déplacement des poids entre DRAM et calcul domine coût et latence dans les grands modèles.
Variance de latence
Cache et spéculation rendent la latence d'inférence GPU difficile à prévoir pour l'usage interactif.
Échelle d'entraînement
Distribuer de très grands modèles sur de nombreux GPU ajoute un surcoût de communication et d'orchestration.
Énergie par jeton
L'énergie de déplacement des données domine ; garder l'état sur puce la réduit.
Méthodes & adéquation
Où cette architecture répond aux points de douleur ci-dessus :
Ordonnancement déterministe (LPU)
Un dataflow compilé et planifié statiquement offre une inférence à faible latence prévisible.
SRAM sur puce (WSE)
Le SRAM wafer-scale garde les poids résidents, supprimant les allers-retours DRAM pour l'entraînement.
Simplicité du parallélisme de modèle
Un seul grand dispositif peut réduire le surcoût de distribution et de communication multi-GPU.
Classes de charges typiques :
Feuille de route
| Phase | Action stratégique | Résultat |
|---|---|---|
| 1. Audit de latence | Profiler le Time-To-First-Token sur les clusters GPU actuels vs les spécifications LPU. | Base de benchmark pour le ROI. |
| 2. Cartographie mémoire | Optimiser les poids du modèle pour la résidence en SRAM wafer-scale. | Élimination des goulots DRAM. |
| 3. Déploiement pilote | Exécuter un pilote d'inférence sensible à la latence ou d'entraînement grand modèle. | Cas de performance validé. |
| 4. Passage à l'échelle | Intégrer dans des environnements d'inférence ou d'entraînement en production. | Performance IA prévisible. |
Indicateurs
Time-To-First-Token déterministe (LPU)
un wafer comme une seule puce avec un SRAM massif (WSE)
les deux plateformes sont en production aujourd'hui
Limites
- Cibles spécialisées : la LPU est orientée inférence et le WSE orienté entraînement/HPC ; aucun n'est un remplacement généraliste.
- Spécificité de la chaîne d'outils : les deux nécessitent des compilateurs propriétaires et un mappage de modèle ; la portabilité diffère des GPU standard.
- Économie dépendante de l'adéquation : l'avantage dépend de l'appariement du profil de charge à la bonne plateforme.
Cette page évalue l'adéquation technique, pas une décision d'achat.