谷歌DeepMind发布EmbeddingGemma 2，拥有740 million参数，支持设备端多模态嵌入

谷歌DeepMind推出了EmbeddingGemma 2，这是一款紧凑型嵌入系统，包含740 million个参数，并以Apache 2.0许可证发布。¹ 此次发布直接建立在支撑谷歌Gemini Embedding系列的基础工程之上。¹ 该系统可将任意组合的书面段落、静态图片、录音和视频序列转换到统一的向量空间中。¹ 通过将不同形式的媒体投射到共享的数学坐标系统中，该架构可直接在单一索引中实现跨模态检索。¹

此次发布紧随初代EmbeddingGemma的广泛应用之后；该版本去年推出后，下载量已超过20 million次。¹ IT之家报道称，早期版本面向文本输入，而EmbeddingGemma 2将功能扩展至编程代码、图片、视频和音频内容，并将它们纳入同一向量空间。³ 这种广泛的处理能力使下游搜索流程能够同时处理书面语言和多媒体内容，无需使用彼此独立的索引流程。¹³ 初代产品可观的下载量，为寻求小型嵌入组件的开发者奠定了现有用户基础。¹

为使计算能在各种边缘平台上保持可控，EmbeddingGemma 2采用了明确分段的设计。¹ 标准语言任务只需使用一个配置为270M参数的基础文本引擎。¹ 根据部署需求，处理视觉或听觉数据的系统可以额外接入一个170M参数的视觉编码器和一个300M参数的音频编码器。¹ 据悉，完整的多模态组合共包含740 million个参数，与文本、视觉和音频各模块的参数总和相符。¹

通过在模型中集成Matryoshka表征学习，向量存储需求进一步降低。¹ 这项方法允许使用者将完整的768维输出嵌入裁剪为更短的维度，而无需重新训练权重。¹ 根据下游延迟目标和存储限制，输出可以限制为512维、256维或128维。¹ 降低维度可显著节省带宽和内存，同时保留高维向量的方向几何特性。¹

除了维度灵活性，EmbeddingGemma 2还扩展了长内容的上下文处理边界。¹ 该框架配备8K token上下文窗口，可读取并编码较长输入。¹ 这一容量是EmbeddingGemma 1上下文限制的四倍。¹ 扩大的上下文范围使系统能够一次性处理较长的代码文件或多页文档，而不会过早截断内容。¹

由于该模型面向本地运行，其运行时内存占用经过校准，以适配移动处理器。¹ 在Google Pixel 11 Pro上进行量化评估时，该模型的文本权重约需191MB运行内存。¹ 在同一款Google Pixel 11 Pro硬件上启用完整多模态套件，约需567MB运行内存。¹ 这些硬件要求确保即使是完整加载的多模态配置，也能与用户任务一同在手持设备上运行。¹

谷歌轻量级模型系列中的共享算法组件，有助于模型在同一系统中协同运行。² EmbeddingGemma 2与Gemma 4直接共用文本分词器。² 它还与Gemma 4共用相同的音频编码器。² 在同一台机器上同时运行这两个模型，可通过去除重复的共享组件降低总体内存消耗。²

标准基准测试套件的评估显示，该模型在技术类和多语言任务中的准确度均有可衡量的提升。¹³ 在MTEB Code评测套件中，EmbeddingGemma 2得分为78.68，高于其直接前代产品的68.76。¹ 与上一代相比，这一进步意味着总体提升了9.92分。¹ IT之家指出，在MTEB Code和MAEB等参数量低于1B的多模态嵌入基准测试中，EmbeddingGemma 2表现领先，成绩可与更大型模型持平或更优。³

为便于用户采用，该模型已通过多个公共开放权重平台发布。¹² 工程师可以通过Hugging Face和Kaggle直接获取模型检查点。² 谷歌还计划将该模型纳入面向企业环境的Gemini Enterprise Agent Platform Model Garden。² Apache 2.0许可证条款允许广泛的商业集成和改编，不受专有许可限制。¹

为支持广泛部署，该模型兼容多种开源推理引擎。² 可通过transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama和LMStudio加载该模型。² 在管理生成的向量索引方面，Qdrant是官方支持的向量存储目的地。² 这些部署途径使团队能够通过MLX在本地苹果硬件上部署模型，也能使用vLLM或SGLang部署在分布式后端上。²

无需专用后端基础设施，也可通过网页浏览器在边缘设备上使用该模型。² 开发者可以使用transformers.js或通过WebGPU加速，在浏览器中运行客户端应用。² 对于希望针对特定数据集定制表征的工程师，Unsloth提供了微调EmbeddingGemma 2的指南。² 结合灵活的推理运行时，这些工具使740M参数模型能够完全在客户端终端上进行调整和运行。¹²