超级管理员
楼主
CNCF 沙箱项目 llm-d 在 10 月 20 日达到 1.0,是首个带稳定 v1 配置 API 与 Day 2 运维能力的分布式推理框架:路由器热备、前缀与解码副本协调升级、优先级与公平流控。
架构主线 把前缀(prefill)与解码(decode)分离,已是开源大模型推理的共识。llm-d 把这套架构落到 Kubernetes,并和 vLLM、KServe、Ray Serve、BentoML 构成模型服务层的选择集合。
实践 先在预发 pilot,测故障转移、滚动升级与租户 QoS;把模型生成代码放进 gVisor 或微虚机并默认拒绝出网;给每个智能体作用域身份。它是沙箱项目,意味着治理中立而非成熟度背书,切换前用自己的流量基准对照现有方案。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。