面壁的算子系统 ForgeKernel 在英伟达 B200 上跑了一组硬指标:22.5 小时、42 轮迭代,产出一个耗时 472 微秒的 CUDA 算子,比 DeepSeek V4.1 版本的手写巅峰快 9.8%。系统随后开源,并上了昇腾的三张榜。
这件事的分量在哪
算子优化长期是「老师傅手艺」:要看懂硬件手册、要会调 shared memory 的 bank 冲突、要知道什么时候该用 warp shuffle。这类经验很难规模化复制,一个团队里能把手写 GEMM 调到接近峰值的人屈指可数。让系统在 42 轮里自己试出来,意味着这条经验曲线可以被压缩。
42 轮迭代是关键设计
不是一次生成就完事,而是「生成 → 编译 → 跑基准 → 读 profiler → 改」的闭环。这个循环恰好是大模型最擅长的:它不需要一次做对,只需要每次比上次好一点。22.5 小时听起来长,但对照人类工程师调一个高性能算子的周期,这个数字其实很短。
别高估的地方
单算子快 9.8%,不等于端到端模型快 9.8%。真实训练/推理的瓶颈往往在数据搬运、通信、调度上,算子只占一部分。而且这套系统的成绩是在特定硬件、特定算子形状上取得的,换个 shape 或换到国产卡上能不能复现,需要自己验。
实用建议
如果你的团队有固定的热点算子反复调优,这套思路值得抄:把 profiler 数据喂回去做迭代,比让模型凭空写 kernel 靠谱得多。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。