LPU 与晶圆级引擎
可用突破 AI 内存墙的两种方式：Groq 面向低延迟推理的确定性 LPU，以及 Cerebras 面向大规模片上 SRAM 的晶圆级引擎。
概览
语言处理单元（LPU）采用确定性、静态调度的推理方式：无缓存、无推测执行，编译式数据流带来高度可预测的首 token 时间。这使其适合对延迟敏感的交互式推理。
晶圆级引擎（WSE）在容量上走向另一个极端：整片晶圆作为一颗芯片，拥有巨大的片上 SRAM，使模型权重常驻并消除拖慢大模型训练的 DRAM 往返。
关键痛点
DRAM 瓶颈
在 DRAM 与计算之间搬移权重主导了大模型的成本与延迟。
延迟波动
缓存与推测执行使 GPU 推理延迟在交互使用中难以预测。
训练规模
将超大模型分布到众多 GPU 上会增加通信与编排开销。
每 token 能耗
数据搬移能耗占主导；将状态保留在片上可降低能耗。
方法与适配
该架构如何应对上述痛点：
确定性调度 (LPU)
编译式、静态调度的数据流带来可预测的低延迟推理。
片上 SRAM (WSE)
晶圆级 SRAM 使权重常驻，消除训练中的 DRAM 往返。
模型并行的简洁性
单个大型设备可减少多 GPU 分布与通信开销。
典型工作负载类别：
低延迟对话
实时代理
大模型训练
高吞吐推理
科学 AI
批量生成
路线图
| 阶段 | 战略举措 | 成果 |
|---|---|---|
| 1. 延迟审计 | 分析当前 GPU 集群的首 token 时间，对比 LPU 规格。 | 用于 ROI 的基准基线。 |
| 2. 内存映射 | 针对晶圆级 SRAM 常驻优化模型权重。 | 消除 DRAM 瓶颈。 |
| 3. 试点部署 | 运行对延迟敏感的推理或大模型训练试点。 | 经验证的性能案例。 |
| 4. 生产扩展 | 集成到生产推理或训练环境。 | 可预测的 AI 性能。 |
指标
亚秒级
确定性首 token 时间 (LPU)
晶圆级
整片晶圆作为单颗芯片，配备大规模 SRAM (WSE)
可用
两个平台目前均已投入生产使用
限制
- 专用目标：LPU 面向推理，WSE 面向训练/HPC；两者都不是通用替代品。
- 工具链专有性：两者都需要厂商编译器和模型映射；可移植性不同于通用 GPU。
- 取决于适配的经济性：优势取决于将负载特征与正确平台匹配。
本页评估技术适配性，而非采购决策。