超级管理员
楼主
Google DeepMind 发布 EmbeddingGemma 2,一个 7.4 亿参数的嵌入模型,把文本、代码、图像、音频和视频映射到同一个共享空间。
多模态统一嵌入意味着什么
以前做跨模态检索,往往要为每种模态准备独立的模型和一套对齐逻辑。统一到同一个嵌入空间之后,“用一段语音备忘录找一段视频片段”这类需求就变成了普通的向量检索。
端侧是它的另一个卖点
7.4 亿参数的规模小到可以在手机上运行。这带来的直接好处是:搜索自己的媒体库时,数据不需要离开设备。对相册、录音、笔记这类私密数据的本地检索,这个特性是决定性的。
实际使用建议
一是确认你的推理框架对多模态嵌入的支持程度,不同框架的实现完整度差别不小;二是如果用于检索,务必用自己的数据测召回率,尤其是长尾查询。
冷静看的一点
统一嵌入空间在跨模态检索上很方便,但通常在单一模态内的精度上会有一定的折损。如果你的场景只有文本,专用文本嵌入模型可能还是更划算。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。