Dataflow reconfigurable (RDU)
DisponibleLa Reconfigurable Dataflow Unit de SambaNova mappe des graphes de modèles entiers sur le matériel, ciblant l'inférence d'entreprise à haut débit et le RAG.
Aperçu
Les architectures dataflow reconfigurables mappent le graphe d'opérateurs d'un modèle directement sur un tissu reconfigurable, au lieu de faire circuler des instructions à travers des cœurs fixes. Pour l'inférence de grands modèles, cela réduit le surcoût du déplacement répété des poids et activations dans une hiérarchie mémoire.
La cible pratique est l'inférence d'entreprise — génération augmentée par récupération, inférence par lots et pipelines agentiques — où le débit soutenu et un coût par jeton prévisible importent plus que la latence d'une requête unique.
Points de douleur
Surcoût de hiérarchie mémoire
Le déplacement répété des poids à travers DRAM/cache limite le débit des grands modèles.
Coût par jeton
L'économie de l'inférence d'entreprise dépend d'un coût par jeton faible et prévisible à grande échelle.
Grandes fenêtres de contexte
Les charges RAG et à contexte long sollicitent simultanément capacité mémoire et bande passante.
Complexité de déploiement
Mettre en place une inférence d'entreprise multi-modèles sur clusters GPU est lourd sur le plan opérationnel.
Méthodes & adéquation
Où cette architecture répond aux points de douleur ci-dessus :
Mappage graphe-vers-tissu
Mappe le graphe d'opérateurs du modèle sur le tissu reconfigurable pour réduire le surcoût d'instructions et de déplacement de données.
Grand état sur puce
Conserve davantage d'état du modèle résident pour réduire les allers-retours vers la mémoire externe.
Service multi-modèles
Vise à servir plusieurs modèles sur une plateforme pour les pipelines d'entreprise et RAG.
Classes de charges typiques :
Feuille de route
| Phase | Action stratégique | Résultat |
|---|---|---|
| 1. Audit de charge | Profiler le débit d'inférence et les cibles de coût par jeton vs la base GPU actuelle. | Base de ROI. |
| 2. Mappage de modèles | Mapper les modèles cibles sur le tissu RDU et valider la parité de précision. | Ensemble de modèles validé. |
| 3. Service pilote | Déployer un pilote RAG ou d'inférence par lots et mesurer le débit soutenu. | Rapport de débit. |
| 4. Passage à l'échelle | Passer à l'échelle le service multi-modèles en production avec supervision. | Inférence d'entreprise évolutive. |
Indicateurs
optimisé pour des jetons/s soutenus plutôt que la latence d'une requête
plusieurs modèles servis sur une plateforme
ciblé sur les charges à récupération augmentée et long contexte
Limites
- Axé inférence : la plateforme cible l'inférence et le service, pas principalement l'entraînement à grande échelle.
- Verrouillage d'écosystème : le mappage et l'outillage sont spécifiques au fournisseur ; la portabilité diffère des stacks GPU standard.
- Adéquation à la charge : les bénéfices sont les plus nets pour le service à haut débit ; les charges à faible volume ou très interactives peuvent ne pas le justifier.
Cette page évalue l'adéquation technique, pas une décision d'achat.