开发者 FeSens 本周把 openTPU 放到了 GitHub:一个全栈 AI 推理加速器,从 RTL 到编译器全部由 AI 智能体设计。Apache 2.0 开源。
24 小时内在 Hacker News 上拿到 337 分、393 条评论。
项目包含什么 SystemVerilog RTL、自定义指令集、位精确 Python 模拟器、kernel 编译器、profiler、主机工具,全在一个仓库里。
运行平台是 Xilinx Kintex-7 FPGA,二手约 300 美元。
这不是作者第一次做这种实验 之前的 auto-arch-tournament 让 AI 智能体对标 RISC-V CPU:73 个假设、9 小时 51 分墙钟时间,相比基线性能提升 92%,LUT 减少 40%。
openTPU 把这个思路扩展到了 AI 加速器。
架构刻意做得可读 没有 cache,没有隐藏调度。每次数据移动都是显式指令,所以性能 trace 能精确显示周期去向。
四个单元:矩阵单元(4 列脉动阵列,int8 权重乘法)、向量单元(fp32 归一化和激活)、DMA 引擎、量化器。
kernel 用带 @ol.jit 装饰器的 Python DSL 编写,编译成硬件指令。指令集是 8 个 32 位字,一周期一条指令。
实测能跑什么 板子 4 GiB DDR3,峰值带宽 17.1 GB/s。DRAM 利用率 82% 到 94%,瓶颈是带宽不是算力。
4-bit 量化下的解码速度:LFM2.5-230M 85.8 tok/s,Qwen3-0.6B 30.7 tok/s,Qwen3.5-2B 12.0 tok/s,Phi-4-mini 3.8B 6.6 tok/s。
HN 上最尖锐的批评 模型 SOTA 的迭代速度快过芯片设计和制造。等你把某个模型烧进 FPGA 比特流或者 ASIC 硅片,这个模型已经过时了。
这个质疑是成立的。
但反驳也有道理 AMD 刚花钱收购了 Taalas——一家把特定模型权重直接蚀刻进硅片的创业公司。其 HC1 芯片跑 Llama 8B 能到 17000 tok/s。
AMD 押注的是边缘场景:离线、私密、低延迟、固定模型。即使前沿模型继续狂奔,一个一年前的模型在 300 美元的板子上跑到交互速度、不依赖云、数据不出设备——这是另一个产品品类,不是更好或更差,是不同。
真正的意义在哪 争论参数意义不大。真正的信号是:芯片设计这个曾经高度封闭的领域,门槛正在可见地下降。
一个执着的工程师加上 LLM,就能起草一个能跑的脉动阵列加速器。这对机器人控制器、音频 DSP、边缘视觉这些体量太小进不了 NVIDIA 路线图的垂直领域,意义重大。
瓶颈会转移 稀缺技能会从「会写 RTL」变成「会定义规范、会评审、会证明」。生成变便宜之后,验证会成为新的瓶颈。
硬件 bug 比软件 bug 隐蔽得多——一个错门不会崩溃,只会静默地算错。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。