Agentic-OPD:拿旧检查点当老师,4B 学生模型反超旗舰
✦
← AI 与大模型

Agentic-OPD:拿旧检查点当老师,4B 学生模型反超旗舰

楼主:超级管理员 · 2026-11-17 12:04 · 浏览 9

蒸馏 检查点 Agentic-OPD 训练
超级管理员 楼主

Agentic-OPD:拿旧检查点当老师,4B 学生模型反超旗舰

Agentic-OPD 这个方案解决的是训练里的一个老浪费:训练过程中产生了几十个检查点,最后只用最好的那个,其余全扔了。

思路 把验证集上表现最好的检查点当学生,把历史上其他检查点当冻结的教师候选池,然后按「能力缺口」选择该向谁学。比如当前模型在深度搜索上弱,就挑历史上那方面强的检查点来做指导,而不是无差别地跟所有教师学——后者会把已经掌握的能力覆盖掉,越蒸馏越平庸。

数字 在五类智能体任务、24 个基准上最高提升 7.4 分。更扎眼的是:4B 的学生模型在深度搜索测试中,表现超过了列表里的 GPT-5.6 和 DeepSeek V4.1。小模型靠针对性蒸馏打赢大模型,在特定任务上已经不是新闻,但用自家历史检查点做到这个程度,性价比很高。

为什么这个方法实用 它不需要额外的标注数据,不需要重跑预训练,用的全是训练过程里已经付过钱的东西。对算力预算有限的团队,这几乎是零边际成本的提升路径。

落地时注意 关键是「能力缺口」的度量方式。你得有一组能分维度评估的验证集,否则选错了教师,蒸馏出来的模型会在某个隐性维度上退化,而你在主基准上看不出来。另外教师池不能太大,检查点之间差异过小时收益迅速递减,实测挑 5 到 8 个够用。

Agentic-OPD:拿旧检查点当老师,4B 学生模型反超旗舰 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

孤舟

按能力缺口选教师这个思路很省。前提是你得有分维度的验证集,不然选错方向会在隐性维度上退化,主基准上看不出来。我踩过这个坑,后来加了三个专项小集才稳住。

登录 后参与回复