EmbeddingGemma 2：把文本、代码、图片、音频和视频放进同一个本地检索空间
为什么多模态检索不该各做一套
做知识库或素材检索时，文字、截图、会议录音和视频片段往往分散在不同索引里：用户输入一句话，却要分别调用文本搜索、图像标签和语音转写，再自行拼接结果。Google DeepMind 发布的 EmbeddingGemma 2，尝试把文本（包括代码）、图片、视频和音频映射到同一个 768 维向量空间，让跨模态内容可以使用相似度检索。
模型有 740M 参数，基于 Gemma 4 架构，采用 Apache 2.0 许可。它面向手机、笔记本等本地设备；官方博客介绍了用文本或图像查找媒体、用文本或语音定位视频片段，以及本地文件检索配合生成模型做 RAG 等场景。这里要区分“向量可比较”和“完整应用已交付”：EmbeddingGemma 2 负责生成向量，向量库、媒体预处理、权限控制和结果展示仍要由应用组合。
先从文本语义搜索跑通
官方模型卡给出 Sentence Transformers 的快速开始方式。初次运行需要下载模型权重，部署前也要评估设备内存、推理速度和模型文件管理：
pip install -U sentence-transformers transformers
查询和文档要用匹配的任务提示，模型卡示例使用 SearchQuery 与 Document：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("google/embeddinggemma-2")
query = "What causes the northern lights?"
document = "The northern lights are caused by charged particles from the sun."
query_emb = model.encode(query, prompt_name="SearchQuery")
doc_emb = model.encode(document, prompt_name="Document")
print(model.similarity(query_emb, doc_emb))
实际知识库中，索引阶段对每个片段生成 Document 向量，查询阶段生成 SearchQuery 向量，再把向量写入支持相似度检索的存储。不要把两边都当普通句子编码：模型卡说明任务前缀有助于提高对应任务的表示质量。对真实数据还要先做切块、保留来源与访问权限元数据，并在检索结果返回时重新执行授权检查。
同一空间带来的应用可能
官方资料列出的模态包括文本、图像、视频与音频，亦可组合输入。于是可以把产品照片、说明文字、录音和视频帧放入同一个检索流程，例如用一段会议口述去找相关截图，或用文字描述定位视频中的场景。对于软件团队，代码也可用于语义检索；官方博客称其在 MTEB Code 上得分由前代的 68.76 提升至 78.68。该数值是特定基准结果，不代表任意代码库上的搜索质量保证。
模型卡还介绍了 Matryoshka Representation Learning：输出维度可取 768、512、256 或 128。缩短向量可以降低向量存储与内存开销，但质量也会随维度变化；应使用自身语料与查询集做召回率、延迟和成本测试，而不是默认越短越好。模型卡报告可将存储最多减少 6 倍，这是其基准和设置下的说明，不应直接等同于端到端系统性能提升。
选择性加载与本地部署考量
官方模型卡描述了可按用途选择文本、视觉和音频编码器：纯文本场景的模型参数规模较小，加入视觉或音频编码器会增加资源需求。Google 博客给出量化后 Pixel 11 Pro 的活动内存示例：纯文本约 191 MB，全模态约 567 MB。它们是特定设备和量化配置的数据，实际占用还受运行时、批大小及应用其他组件影响，应在目标设备实测。
模型可通过多个生态接入。官方博客列出 MediaPipe、LiteRT、Transformers.js、WebGPU、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama 和 LM Studio 等工具路径。选择时不要只看“支持本地”：还需核对目标平台是否支持所需模态、模型格式、量化精度和硬件加速；移动端、浏览器与服务器的部署约束并不相同。
一个稳妥的落地顺序
先用纯文本数据建立基线，确认任务提示、相似度排序和评估集；随后加入单一图像或音频来源，验证预处理与跨模态结果；最后再扩展到视频及混合输入。每一步都保留原始内容定位信息，便于点击回源，并用人工标注的查询集评估 Top-K 命中率。对于敏感文档，本地生成向量可减少数据外传，但不自动解决设备存储、日志、备份和权限泄漏问题。
EmbeddingGemma 2 的亮点不是“一个模型替你搭好多模态搜索”，而是用同一套嵌入表示连接多种内容类型，并提供可裁剪的向量维度与本地运行路径。它适合评估跨模态检索、离线 RAG 或本地代码索引的团队；是否胜过专用模型，仍需用自己的数据和硬件验证。