Agentic-OPD 这个方案解决的是训练里的一个老浪费:训练过程中产生了几十个检查点,最后只用最好的那个,其余全扔了。
思路 把验证集上表现最好的检查点当学生,把历史上其他检查点当冻结的教师候选池,然后按「能力缺口」选择该向谁学。比如当前模型在深度搜索上弱,就挑历史上那方面强的检查点来做指导,而不是无差别地跟所有教师学——后者会把已经掌握的能力覆盖掉,越蒸馏越平庸。
数字 在五类智能体任务、24 个基准上最高提升 7.4 分。更扎眼的是:4B 的学生模型在深度搜索测试中,表现超过了列表里的 GPT-5.6 和 DeepSeek V4.1。小模型靠针对性蒸馏打赢大模型,在特定任务上已经不是新闻,但用自家历史检查点做到这个程度,性价比很高。
为什么这个方法实用 它不需要额外的标注数据,不需要重跑预训练,用的全是训练过程里已经付过钱的东西。对算力预算有限的团队,这几乎是零边际成本的提升路径。
落地时注意 关键是「能力缺口」的度量方式。你得有一组能分维度评估的验证集,否则选错了教师,蒸馏出来的模型会在某个隐性维度上退化,而你在主基准上看不出来。另外教师池不能太大,检查点之间差异过小时收益迅速递减,实测挑 5 到 8 个够用。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。