LPU y motores wafer-scale
DisponibleDos enfoques para romper el muro de memoria de la IA: la LPU determinista de Groq para inferencia de baja latencia y el motor wafer-scale de Cerebras para un SRAM masivo en chip.
Visión general
La Language Processing Unit (LPU) adopta un enfoque de inferencia determinista y planificado estáticamente: sin cachés, sin ejecución especulativa, un dataflow compilado que ofrece un Time-To-First-Token muy predecible. Esto la hace adecuada para inferencia interactiva sensible a la latencia.
El Wafer-Scale Engine (WSE) va al extremo opuesto en capacidad: un wafer entero como un solo chip, con un enorme SRAM en chip que mantiene los pesos del modelo residentes y elimina los viajes a DRAM que frenan el entrenamiento de modelos grandes.
Puntos críticos
Cuello de botella de DRAM
Mover pesos entre DRAM y cómputo domina el costo y la latencia en modelos grandes.
Varianza de latencia
La caché y la especulación hacen que la latencia de inferencia en GPU sea difícil de predecir para uso interactivo.
Escala de entrenamiento
Distribuir modelos muy grandes en muchas GPU añade sobrecarga de comunicación y orquestación.
Energía por token
La energía de movimiento de datos domina; mantener el estado en chip la reduce.
Métodos y ajuste
Dónde esta arquitectura aborda los puntos críticos anteriores:
Planificación determinista (LPU)
Un dataflow compilado y planificado estáticamente ofrece inferencia de baja latencia predecible.
SRAM en chip (WSE)
El SRAM wafer-scale mantiene los pesos residentes, eliminando los viajes a DRAM para el entrenamiento.
Simplicidad de paralelismo de modelo
Un único dispositivo grande puede reducir la sobrecarga de distribución y comunicación multi-GPU.
Clases de carga típicas:
Hoja de ruta
| Fase | Acción estratégica | Resultado |
|---|---|---|
| 1. Auditoría de latencia | Perfilar el Time-To-First-Token en los clústeres de GPU actuales frente a las especificaciones de LPU. | Base de benchmark para el ROI. |
| 2. Mapeo de memoria | Optimizar los pesos del modelo para la residencia en SRAM wafer-scale. | Eliminación de cuellos de botella de DRAM. |
| 3. Despliegue piloto | Ejecutar un piloto de inferencia sensible a la latencia o de entrenamiento de modelo grande. | Caso de rendimiento validado. |
| 4. Escalado a producción | Integrar en entornos de inferencia o entrenamiento en producción. | Rendimiento de IA predecible. |
Métricas
Time-To-First-Token determinista (LPU)
un wafer como un solo chip con SRAM masivo (WSE)
ambas plataformas están en uso productivo hoy
Limitaciones
- Objetivos especializados: la LPU está orientada a inferencia y el WSE a entrenamiento/HPC; ninguno es un reemplazo de propósito general.
- Especificidad de la cadena de herramientas: ambos requieren compiladores del proveedor y mapeo de modelos; la portabilidad difiere de las GPU básicas.
- Economía dependiente del ajuste: la ventaja depende de emparejar el perfil de carga con la plataforma correcta.
Esta página evalúa la idoneidad técnica, no una decisión de compra.