Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数的开放多模态嵌入模型,Apache 2.0 协议。它把文本、代码、图像、视频、音频映射到同一个 768 维空间,基于 Gemma 4 构建。
尺寸可伸缩
纯文本场景可以用 270M 参数的版本,全模态用 740M。另外支持 Matryoshka 截断——把向量从 768 维截到 128 维,存储最多省 6 倍。
Matryoshka 是什么
简单说就是训练时让向量的前 N 维本身就是可用的低维表示。这样截断后不需要重新训练,直接取前 128 维就能用,只是精度略降。对向量库来说这是很实在的能力:同一个库可以先存 128 维做粗筛,再对候选取全维做精排。
多模态同空间的价值
同一空间意味着可以用文本搜图片、用图片搜视频、用音频片段搜相关文档,不需要为每种跨模态组合单独训练对齐模型。对检索增强系统来说,这能砍掉大量胶水代码。
Apache 2.0 的意义
嵌入模型经常是系统的基础设施,一旦选型就要长期维护。商用友好的协议比参数量更重要。这点上 EmbeddingGemma 2 比那些自定义许可的模型省心得多。
768 维够不够
维数不是越高越好,要看你的数据规模。千万级以下的库,768 维甚至 384 维都够用;上亿级才需要认真考虑维数带来的索引内存压力。
落地提醒
多模态嵌入的质量高度依赖训练分布。如果你的图文对是中文电商场景,而模型主要在英文通用语料上训练,跨域效果会打折。上线前必须用自己的真实查询集做召回测试,别只看公开榜单。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。