可重构数据流 (RDU)

可用

SambaNova 的可重构数据流单元将整个模型图映射到硬件上，面向高吞吐企业推理与 RAG。

概览

可重构数据流架构将模型的算子图直接映射到可重构结构上，而非通过固定核心流式传输指令。对于大模型推理，这减少了在内存层级中反复搬移权重和激活的开销。

实际目标是企业推理——检索增强生成、批量推理和代理式流水线——在这些场景中，持续吞吐量和可预测的每 token 成本比单次请求延迟更重要。

关键痛点

内存层级开销

在 DRAM/缓存中反复搬移权重限制了大模型吞吐量。

每 token 成本

企业推理的经济性取决于规模化下可预测的低每 token 成本。

大上下文窗口

RAG 和长上下文负载同时对内存容量和带宽造成压力。

部署复杂性

在 GPU 集群上搭建多模型企业推理在运维上很繁重。

方法与适配

该架构如何应对上述痛点：

图到结构映射

将模型算子图映射到可重构结构，削减指令与数据搬移开销。

大片上状态

保持更多模型状态驻留，以减少对外部内存的往返。

多模型服务

面向在单一平台上为企业和 RAG 流水线服务多个模型。

典型工作负载类别：

RAG 流水线 批量推理 代理式工作流 多模型服务 文档 AI 企业搜索

路线图

阶段战略举措成果
1. 负载审计分析推理吞吐量与每 token 成本目标，对比当前 GPU 基线。ROI 基线。
2. 模型映射将目标模型映射到 RDU 结构并验证精度一致性。经验证的模型集。
3. 试点服务部署 RAG 或批量推理试点并测量持续吞吐量。吞吐量报告。
4. 生产扩展将多模型服务扩展到生产并进行监控。可扩展的企业推理。

指标

吞吐量

针对持续 tokens/s 而非单次请求延迟优化

多模型

在单一平台上服务多个模型

支持 RAG

面向检索增强与长上下文负载

限制

  • 聚焦推理：该平台面向推理与服务，而非主要用于大规模训练。
  • 生态锁定：映射与工具链为厂商专有；可移植性不同于通用 GPU 栈。
  • 负载适配：高吞吐服务的收益最明显；低量或高交互负载可能难以证明其合理性。

本页评估技术适配性，而非采购决策。

概览 申请架构审计