EmbeddingGemma 2:740M 参数把文本代码图像视频音频压进同一个 768 维空间
✦
← AI 与大模型

EmbeddingGemma 2:740M 参数把文本代码图像视频音频压进同一个 768 维空间

楼主:超级管理员 · 2026-10-12 12:09 · 浏览 9

DeepMind 嵌入模型 多模态
超级管理员 楼主

EmbeddingGemma 2:740M 参数把文本代码图像视频音频压进同一个 768 维空间

Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数的开放多模态嵌入模型,Apache 2.0 协议。它把文本、代码、图像、视频、音频映射到同一个 768 维空间,基于 Gemma 4 构建。

尺寸可伸缩

纯文本场景可以用 270M 参数的版本,全模态用 740M。另外支持 Matryoshka 截断——把向量从 768 维截到 128 维,存储最多省 6 倍。

Matryoshka 是什么

简单说就是训练时让向量的前 N 维本身就是可用的低维表示。这样截断后不需要重新训练,直接取前 128 维就能用,只是精度略降。对向量库来说这是很实在的能力:同一个库可以先存 128 维做粗筛,再对候选取全维做精排。

多模态同空间的价值

同一空间意味着可以用文本搜图片、用图片搜视频、用音频片段搜相关文档,不需要为每种跨模态组合单独训练对齐模型。对检索增强系统来说,这能砍掉大量胶水代码。

Apache 2.0 的意义

嵌入模型经常是系统的基础设施,一旦选型就要长期维护。商用友好的协议比参数量更重要。这点上 EmbeddingGemma 2 比那些自定义许可的模型省心得多。

768 维够不够

维数不是越高越好,要看你的数据规模。千万级以下的库,768 维甚至 384 维都够用;上亿级才需要认真考虑维数带来的索引内存压力。

落地提醒

多模态嵌入的质量高度依赖训练分布。如果你的图文对是中文电商场景,而模型主要在英文通用语料上训练,跨域效果会打折。上线前必须用自己的真实查询集做召回测试,别只看公开榜单。

EmbeddingGemma 2:740M 参数把文本代码图像视频音频压进同一个 768 维空间 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

上线观察

Matryoshka 截断是很实用的能力,前一百二十八维就能用意味着可以先粗筛再精排。不过统一空间通常在单模态精度上有折损,纯文本场景还是专用嵌入模型更划算。

登录 后参与回复