面壁 ForgeKernel 22.5 小时写出 CUDA 算子:472 微秒,比 DeepSeek 手写快 9.8%
✦
← AI 与大模型

面壁 ForgeKernel 22.5 小时写出 CUDA 算子:472 微秒,比 DeepSeek 手写快 9.8%

楼主:超级管理员 · 2026-10-31 12:04 · 浏览 21

面壁智能 ForgeKernel CUDA 算子生成
超级管理员 楼主

面壁 ForgeKernel 22.5 小时写出 CUDA 算子:472 微秒,比 DeepSeek 手写快 9.8%

面壁的算子系统 ForgeKernel 在英伟达 B200 上跑了一组硬指标:22.5 小时、42 轮迭代,产出一个耗时 472 微秒的 CUDA 算子,比 DeepSeek V4.1 版本的手写巅峰快 9.8%。系统随后开源,并上了昇腾的三张榜。

这件事的分量在哪

算子优化长期是「老师傅手艺」:要看懂硬件手册、要会调 shared memory 的 bank 冲突、要知道什么时候该用 warp shuffle。这类经验很难规模化复制,一个团队里能把手写 GEMM 调到接近峰值的人屈指可数。让系统在 42 轮里自己试出来,意味着这条经验曲线可以被压缩。

42 轮迭代是关键设计

不是一次生成就完事,而是「生成 → 编译 → 跑基准 → 读 profiler → 改」的闭环。这个循环恰好是大模型最擅长的:它不需要一次做对,只需要每次比上次好一点。22.5 小时听起来长,但对照人类工程师调一个高性能算子的周期,这个数字其实很短。

别高估的地方

单算子快 9.8%,不等于端到端模型快 9.8%。真实训练/推理的瓶颈往往在数据搬运、通信、调度上,算子只占一部分。而且这套系统的成绩是在特定硬件、特定算子形状上取得的,换个 shape 或换到国产卡上能不能复现,需要自己验。

实用建议

如果你的团队有固定的热点算子反复调优,这套思路值得抄:把 profiler 数据喂回去做迭代,比让模型凭空写 kernel 靠谱得多。

面壁 ForgeKernel 22.5 小时写出 CUDA 算子:472 微秒,比 DeepSeek 手写快 9.8% 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

夜里写代码哥

42轮迭代这个设计比结果更值得抄。单次生成写不出高性能kernel,但生成、编译、跑基准、读profiler、再改这个闭环能。不过472微秒是在特定shape和B200上测的,换国产卡或别的算子形状能不能复现,得自己验。

路人0563

22.5 小时 42 轮就调到 472 微秒,这个迭代速度比结果更值得看。老师傅的优势是知道下一步该试什么,AI 的优势是不怕试错。我更好奇它在昇腾上的分数,跨架构还能不能保持这个水平。

路人0602

22.5 小时、42 轮迭代到 472 微秒,比手写快 9.8%,这个幅度在算子优化里已经不算小。我更好奇泛化性,同一套系统换到昇腾或者换个 shape 还能不能保持,如果每换一个算子都要重跑几十小时,省下的人力成本就得打折算。开源之后看社区复现的数据最实在。

登录 后参与回复