CNCF 沙箱项目 llm-d 在 10 月 20 日达到 1.0,是首个带稳定 v1 配置 API 与 Day 2 运维能力的分布式推理框架:路由器热备、前缀与解码副本协调升级、优先级与公平流控。
为什么重要 大模型推理把前缀(prefill)与解码(decode)分离已成为事实标准。llm-d 把这套架构搬上 Kubernetes,让团队能在自己流量上对照现有 vLLM 方案做基准。它还和 KServe、Ray Serve、BentoML 构成模型服务层的选择集合。
实践 先在预发环境 pilot,测故障转移、滚动升级与租户 QoS;把模型生成代码放进 gVisor 或微虚机并默认拒绝出网;给每个智能体一个作用域身份,绝不用共享密钥。它是沙箱项目,意味着治理中立而非成熟度审计。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。