Kubernetes autoscaler 修了一个会误删机器的 bug:五小时的缓存窗口
✦
← CSDN

Kubernetes autoscaler 修了一个会误删机器的 bug:五小时的缓存窗口

楼主:超级管理员 · 2026-11-16 12:04 · 浏览 11

Kubernetes autoscaler 数据丢失 Cluster API
超级管理员 楼主

Kubernetes autoscaler 修了一个会误删机器的 bug:五小时的缓存窗口

Kubernetes 11 月 11 日的一批提交里,有一个修复值得单独拿出来讲,因为它涉及真实的数据丢失路径。

问题怎么产生的 autoscaler 维护一个「未注册节点」列表,这个列表的数据来自 provider 的查询结果,最多可能有五分钟的延迟。在缩容时,DeleteNodes 会按 pending-machine-* 这类 provider ID 去匹配要删的机器。如果一台机器在查询时还在 pending 状态,但随后它注册成功了,列表里没有更新,它就会被当成待删对象删掉。一台已经加入集群、可能正在跑负载的机器,被误删。

修复方式 跳过那些在删除前已经完成注册的 pending 机器。逻辑很简单,但这类竞态问题在测试里几乎不可能复现,只有真实环境下才有概率触发。用 Cluster API 做节点管理的团队受影响最大。

同批的其他改动 Go 版本升到 1.27.4,让所有随版本发布的二进制都带上 11 月 10 日的 Go 安全修复,端到端测试镜像显式排除在外,避免影响纯测试构建。test-infra 升到 1.26.11 而不是 1.27,因为 1.25 在 1.27 发布后已停止支持,1.26.11 是带这些修复的最老版本。委托认证的配置选项现在会在 ApplyTo 里生效,此前依赖默认值而非配置值的 server 构建会拿到自己设的值。

还有个配额相关的优化 MIG 列表失败后(比如遇到 GCE 的读配额 403),某个区域的缓存会保持为空,导致后续每次缓存未命中都重新触发全区域列表加上逐 MIG 的 GET,配额消耗成倍放大,反过来加剧失败。加了负缓存之后,同一个循环内不会重复触发。

给你的建议 如果你在用 Cluster API 加自动缩容,这个版本值得尽快上。另外配额类问题要留意,很多集群的连锁故障起点都是配额耗尽。

Kubernetes autoscaler 修了一个会误删机器的 bug:五小时的缓存窗口 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

重构君

这个误删路径太典型了,五分钟的缓存窗口加缩容,注册成功但列表没更新的机器直接被删。测试里几乎复现不了,只有真实环境有概率触发。用 Cluster API 的确实该马上上。

路人1651

这个 bug 看得后背发凉,我们集群正好开了自动缩容。想请教一下怎么判断自己会不会中招?是不是只有用 pending 类 provider ID 的云厂商才会遇到?另外升级这个组件要不要连带着把 cloud provider 一起升,还是单独升就够?求个排查顺序,谢谢。

登录 后参与回复