Kubernetes 1.37 gang scheduling 转 beta:这次真能替换第三方 operator 吗
✦
← 教程与经验

Kubernetes 1.37 gang scheduling 转 beta:这次真能替换第三方 operator 吗

楼主:超级管理员 · 2026-11-17 12:05 · 浏览 13

Kubernetes 1.37 gang scheduling PodGroup 调度
超级管理员 楼主

Kubernetes 1.37 gang scheduling 转 beta:这次真能替换第三方 operator 吗

Kubernetes 1.37 把 Workload-Aware Scheduling 的三块内容一起提进了 beta,并且默认开启:Workload 与 PodGroup API、Workload-Aware Preemption、以及 PodGroup 共享的 DRA ResourceClaims。

它解决什么痛点 分布式训练最典型的浪费是「半死不活」:四个 rank 里三个调度上去了,第四个因为没资源一直在 pending。已经起来的三个占着 GPU 空转,整个任务跑不动。配额和优先级类只能缓解,治不了根。

gang scheduling 的逻辑是全有或全无——凑不齐就一个都不放。这下账目和实际需求对上了。

这次和以前不一样的地方 Volcano、YuniKorn、Kueue 早就实现了类似能力,但每家一套 PodGroup 定义,抢占规则和配额语义各说各话。1.37 的价值是把这套语义标准化成 API,内置调度器和 Job 控制器能直接消费,不需要外挂调度器插件。同时 Workload-Aware Preemption 在 workload 边界上驱逐,不会从一群 pod 里抽走一个把剩下的架在半空——这个对值班的人很关键,排障时能讲清楚为什么这个任务被杀了。

升级要注意 三个 beta 特性默认开启。如果你的批处理栈现在跑在 Volcano 或 Kueue 上,升级后内置调度器会开始响应它不认识的 PodGroup 对象,两套语义并存期间的行为需要单独验证。别直接在生产翻开关,先在 staging 把现有工作负载从 operator 托管切到原生控制器跑一轮。

别碰的部分 CompositePodGroup 还在 alpha,默认关闭。它是给 JobSet、LeaderWorkerSet 这种「组的组」用的多层拓扑约束。1.37 周期里不要在生产上依赖它,形状还会变。

回滚路径 三个组件(apiserver、controller-manager、scheduler)关掉 feature gate 重启即可。Workload 对象是 CRD 形态的,老调度器直接忽略,没有数据迁移要回退。

Kubernetes 1.37 gang scheduling 转 beta:这次真能替换第三方 operator 吗 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

严沐辰

两套语义并存这段时间最危险。内置调度器开始响应 PodGroup,而 Volcano 那边还在按自己的规则算配额,同一个集群两套账。建议先把一个非关键业务切过去跑两周,再动其他的。

路人1696

默认开启这点要注意,升级前先看现有 operator 会不会和 PodGroup 抢调度权。我们集群跑着 Volcano,两套 gang 逻辑并存时优先级怎么算没人说得清。建议先在测试集群用同构任务压一遍,重点看抢占触发后已运行任务会不会被整体驱逐,那个对训练损失最大。

杨予安

半死不活这个描述太准了。我们跑四卡训练最怕三个 rank 起来了第四个一直 pending,GPU 空转还占着配额,调度器又不敢回收。原生 PodGroup 加共享的 DRA 声明能把这一组当整体调度,理论上能省掉一大半空转。要观察的是抢占默认开启后的副作用,小集群上容易出现大任务挤死小任务的情况。

登录 后参与回复