Alphabet (GOOGL-US)旗下Google DeepMind宣布推出新一代开放式多模态嵌入模型EmbeddingGemma 2，将原本以文本为主的EmbeddingGemma扩充至代码、图片、视频及音频，并把不同类型的数据映射到同一个768维矢量空间，让开发者可以在设备本地直接进行跨模态搜索、数据检索及生成式AI应用。

EmbeddingGemma 2创建于Gemma 4架构，拥有7.4亿个参数，采Apache 2.0授权，可用于商业产品。Google表示，这款模型的设计重点是以较小的模型规模提供多模态嵌入能力，让AI搜索及检索工作可以直接在手机、个人电脑等消费性硬件上运行，而不必将数据全部发送至云端。

EmbeddingGemma 2采模块化架构，文本与代码功能只需要2.7亿个参数，加入视觉编码器后为4.4亿个参数，加入音频编码器后为5.7亿个参数，完整激活文本、代码、图片、视频与音频功能则使用7.4亿个参数。视觉编码器增加1.7亿个参数，音频编码器增加3亿个参数，开发者可以按照实际需求选择需要加载的模块。

这种设计让EmbeddingGemma 2能够将不同来源的信息放进同一个语意空间。例如，用户可以输入文本搜索特定照片，也可以利用语音备忘录寻找相关视频片段，甚至以文本查找数小时的音频内容。不同模态的数据虽然经过不同编码器处理，最后仍会被转换成可以直接比较语意相似度的矢量。

Google表示，EmbeddingGemma 2特别适合需要本地搜索及检索的应用，包括个人媒体库搜索、文档及代码搜索、影音数据检索，以及结合生成式AI的检索增强生成(RAG)系统。由于嵌入运算可以直接在设备上完成，开发者可降低数据传输需求与延迟，同时提高隐私保护能力，部分应用也能在没有网络连接的情况下运作。

EmbeddingGemma 2的上下文窗口扩大至8192个token，是第一代EmbeddingGemma的4倍。在单一模态、没有加入文本的情况下，模型最多可处理约5.5分钟音频、29张图片或58个视频画面，也能处理文本与多种媒体交错的输入。

在性能方面，Google表示EmbeddingGemma 2在MTEB Code测试的分数从第一代的68.76提高至78.68，增加9.92分。Google开发者数据则指出，这相当于约14%的性能提升，同时维持第一代EmbeddingGemma在多语言文本上的表现，并进一步加入图片、视频及音频检索能力。

EmbeddingGemma 2也采用Matryoshka Representation Learning(MRL)，让开发者可以把原本768维的输出矢量动态缩减至512、256或128维，以降低矢量数据库的保存与内存需求。Google表示，最多可以降低约6倍保存需求。

其中，使用256维矢量时，文本及代码仍可保留大部分原始嵌入品质，而图片、视频及语音检索约可维持95%的原始品质，保存空间则可降至原本约三分之一。若进一步缩减至128维，文本及代码约可维持90%品质，但图片、视频及语音检索品质可能降至约75%，因此较适合大型文本索引或第一阶段搜索筛选。

Google开发者指南指出，在bfloat16精度下，保存100万个768维矢量约需要1.5GB内存，若缩减至128维，则约需要250MB，代表相同内存容量下可以保存约6倍数量的嵌入矢量。

在设备端运行效率方面，Google表示，经量化后，EmbeddingGemma 2在Pixel 11 Pro上运行文本版本时，主动RAM需求最低约191MB；完整多模态版本则约需要567MB。这使模型能够在相对有限的设备资源下运行，而不必依赖大型云端运算基础设施。

EmbeddingGemma 2也可以与Gemma 4搭配使用，创建完整的设备端RAG流程。由于两者共享文本tokenizer及音频编码器架构，Google表示，开发者可以降低两个模型同时运作时的整体内存占用，让嵌入、搜索及生成式推理能够在同一套本地AI流程中完成。

在实际应用上，Google AI Edge Gallery已展示Instant Media Search及Video Moments Finder等功能。前者可利用文本或图片在设备上的媒体数据库寻找语意相近内容，后者则能利用文本或音频搜索视频中的特定片段。Google也展示将EmbeddingGemma 2与Gemma 4结合，用于本地文件检索及后续内容理解。

除了搜索与RAG，EmbeddingGemma 2也可以用于分类、路由及即时决策。Google表示，开发者可以通过MediaPipe Decision Task API利用多模态信息创建即时决策引擎，进一步把模型应用在需要根据文本、图片、音频及视频内容做判断的设备端AI系统。

EmbeddingGemma 2的推出也延续第一代EmbeddingGemma的开发者生态。Google表示，第一代EmbeddingGemma自去年推出后已累积超过2000万次下载，开发者利用它创建设备端搜索工具及强调隐私的RAG系统。此次第二代模型则将应用范围从文本扩展到多种媒体格式。

在开发工具方面，EmbeddingGemma 2可通过sentence-transformers 6.1.0以上版本使用，也支持Transformers、MLX、vLLM、llama.cpp、SGLang、Ollama及LM Studio等工具。开发者可以通过Google AI Edge的MediaPipe进行嵌入、检索及决策任务，也能使用LiteRT进行自订模型集成，并可通过transformers.js及WebGPU在浏览器环境部署。

模型权重目前可在Hugging Face及Kaggle取得，Google也表示，未来将在Gemini Enterprise Agent Platform Model Garden提供相关模型。针对需要进一步调整模型的开发者，Google同时提供Unsloth微调工具的相关支持。

EmbeddingGemma 2另一项重要特色是所有模块仍使用兼容的768维共享矢量空间。这意味着开发者即使一开始只创建文本索引，日后若要加入图片或音频，也不必重新计算既有嵌入数据，只需加载额外编码器即可扩充系统。

Google表示，EmbeddingGemma 2的内核目标是让多模态搜索与检索能力从云端进一步下沉至终端设备。对开发者而言，这不仅可以降低延迟及云端运算成本，也能让敏感数据留在用户设备内。随着AI应用逐渐从单纯文本交互走向同时理解图片、声音、视频及代码，能够在有限硬件资源下处理多模态数据的嵌入模型，将成为创建新一代设备端AI应用的重要基础。