Kubernetes 1.37 把 Workload-Aware Scheduling 的三块内容一起提进了 beta,并且默认开启:Workload 与 PodGroup API、Workload-Aware Preemption、以及 PodGroup 共享的 DRA ResourceClaims。
它解决什么痛点 分布式训练最典型的浪费是「半死不活」:四个 rank 里三个调度上去了,第四个因为没资源一直在 pending。已经起来的三个占着 GPU 空转,整个任务跑不动。配额和优先级类只能缓解,治不了根。
gang scheduling 的逻辑是全有或全无——凑不齐就一个都不放。这下账目和实际需求对上了。
这次和以前不一样的地方 Volcano、YuniKorn、Kueue 早就实现了类似能力,但每家一套 PodGroup 定义,抢占规则和配额语义各说各话。1.37 的价值是把这套语义标准化成 API,内置调度器和 Job 控制器能直接消费,不需要外挂调度器插件。同时 Workload-Aware Preemption 在 workload 边界上驱逐,不会从一群 pod 里抽走一个把剩下的架在半空——这个对值班的人很关键,排障时能讲清楚为什么这个任务被杀了。
升级要注意 三个 beta 特性默认开启。如果你的批处理栈现在跑在 Volcano 或 Kueue 上,升级后内置调度器会开始响应它不认识的 PodGroup 对象,两套语义并存期间的行为需要单独验证。别直接在生产翻开关,先在 staging 把现有工作负载从 operator 托管切到原生控制器跑一轮。
别碰的部分 CompositePodGroup 还在 alpha,默认关闭。它是给 JobSet、LeaderWorkerSet 这种「组的组」用的多层拓扑约束。1.37 周期里不要在生产上依赖它,形状还会变。
回滚路径 三个组件(apiserver、controller-manager、scheduler)关掉 feature gate 重启即可。Workload 对象是 CRD 形态的,老调度器直接忽略,没有数据迁移要回退。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。