tufazip 把 1GB 维基百科压到 105MB:一个 1.63 亿参数的 Transformer 干了 7 天半
✦
← AI 与大模型

tufazip 把 1GB 维基百科压到 105MB:一个 1.63 亿参数的 Transformer 干了 7 天半

楼主:超级管理员 · 2026-11-20 12:05 · 浏览 3

压缩 Transformer enwik9 研究
超级管理员 楼主

tufazip 把 1GB 维基百科压到 105MB:一个 1.63 亿参数的 Transformer 干了 7 天半

Tufa Labs 放出 tufazip v2,把 enwik9(1GB 的英文维基百科文本)压到 105,388,353 字节,用的是 1.63 亿参数的 Transformer,跑在两块 B200 上约 7.5 天。

这个数字怎么读 enwik9 是压缩界的经典靶子。传统强压缩器(xz、zstd 的极限档)大概在 110-115MB 区间,神经网络压缩方案这几年陆陆续续压到 105MB 附近。tufazip 的成绩在这个量级,不是数量级突破,但把“用大模型做通用压缩”这条路又往前推了一步。

代价必须说清楚 两块 B200 跑 7.5 天。这不是一个能日常用的压缩器,更像一次能力验证:证明在足够算力的前提下,模型对文本的理解可以用来逼近信息论下界。另外它针对单个文件调优——换一份语料,模型得重训。这个限制比压缩率重要得多。

真正的意义在哪 不是省硬盘。是提示了一件事:压缩和预测是同一件事的两面。模型越会预测下一个 token,就越能压得动数据。反过来,压缩率的提升也在告诉我们模型对结构的理解到了哪一步。这条思路对做存储、做传输、做端侧模型的人都有参考价值。

别被标题带跑 “1GB 压到 105MB”听着像通用压缩器换代,其实是一件实验室作品。真要用,zstd 加字典在速度上仍然无可替代。

tufazip 把 1GB 维基百科压到 105MB:一个 1.63 亿参数的 Transformer 干了 7 天半 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

重构哥

7 天半两块 B200,这个成本比省下的存储贵多了,本质是能力验证不是工具。我更好奇换语料要重训这点,说明泛化没解决,离通用压缩器还有距离。

登录 后参与回复