Google DeepMind、オンデバイスのマルチモーダル埋め込み向けに740 millionパラメータのEmbeddingGemma 2を公開

Google DeepMindは、Apache 2.0ライセンスのもとで利用可能な、740 millionパラメータで構成されるコンパクトな埋め込みシステムEmbeddingGemma 2を発表しました。¹ このリリースは、GoogleのGemini Embeddingファミリーを支える基礎的なエンジニアリングの上に直接構築されています。¹ このシステムは、文章の記述、静止画、音声録音、ビデオシーケンスの任意の組み合わせを統合されたベクトル空間へと変換します。¹ 異なる形式のメディアを共有の数学的座標系に投影することにより、このアーキテクチャは単一のインデックス内で直接クロスモーダルな検索を可能にします。¹

このリリースは、昨年ローンチされた後に20 million回を超えるダウンロードを記録したオリジナルのEmbeddingGemmaのリリースの広範な普及に続くものです。¹ 初期のイテレーションがテキスト入力を対象としていたのに対し、IT之家はEmbeddingGemma 2がこれらの機能的能力を拡張し、同じベクトル空間内でプログラミングコード、画像、ビデオ、音響コンテンツに対応したと報じました。³ この動作の幅広さにより、ダウンストリームの検索パイプラインは、切り離されたインデックスパイプラインを必要とすることなく、書かれた言語とマルチメディアの両方を処理できるようになります。¹³ 初期リリースの大幅なダウンロード実績は、フットプリントの小さい埋め込みコンポーネントを求める開発者の既存の基盤を確立しました。¹

多様なエッジプラットフォームにわたって計算を管理しやすく維持するため、EmbeddingGemma 2は明確にセグメント化された設計に依存しています。¹ 標準的な言語タスクに必要なのは、270Mパラメータで構成されたベーステキストエンジンのみです。¹ 視覚データや聴覚データを扱うシステムは、導入需要に応じて、300Mの音声エンコーダーとともにオプションの170Mのビジョンエンコーダーを取り付けることができます。¹ 完全なマルチモーダル構成は合計740 millionパラメータになると報告されており、これは個別のテキスト、視覚、音響の構成要素の合計と一致する量です。¹

モデル内にマトリョーシカ表現学習（Matryoshka Representation Learning）を統合することで、ベクトルストレージの需要はさらに削減されます。¹ この手法により、運用者は重みを再トレーニングすることなく、完全な768次元の出力埋め込みをより狭い長さにスライスできます。¹ ダウンストリームのレイテンシ目標やストレージ制限に応じて、出力を512次元、256次元、または128次元に制限できます。¹ より小さい次元へのカットは、より高次元のベクトルの方向ジオメトリを維持しながら、大幅な帯域幅とメモリの節約をもたらします。¹

次元の柔軟性に加えて、EmbeddingGemma 2は長いコンテンツに対するコンテキスト取り込みの境界を拡張します。¹ このフレームワークは、長い入力を読み取ってエンコードするための8Kトークンのコンテキストウィンドウを備えています。¹ この容量は、EmbeddingGemma 1に存在していたコンテキスト制限から4倍の拡張を表しています。¹ 拡大されたコンテキストスパンにより、システムは途中で切り詰めることなく、拡張コードファイルや複数ページのドキュメントを1回のパスで処理できます。¹

このモデルはローカル実行を対象としているため、そのアクティブメモリ消費量はモバイルプロセッサ向けに調整されています。¹ Google Pixel 11 Proで量子化下で評価した場合、このモデルのテキストの重みには約191MBのアクティブ動作RAMが必要です。¹ 同じGoogle Pixel 11 Proハードウェア上で完全なマルチモーダルスイートをアクティブにするには、約567MBのアクティブRAMが必要です。¹ これらのハードウェア要件により、フルロードされたマルチモーダル構成であっても、ハンドヘルドデバイス上でユーザータスクと並行して実行できることが保証されます。¹

システムのコロケーションは、Googleの軽量モデルライン全体で共有されるアルゴリズムコンポーネントの恩恵を受けます。² EmbeddingGemma 2は、そのテキストトークナイザーをGemma 4と直接共有しています。² また、Gemma 4と同一の音声エンコーダーも共有しています。² 1台のマシン上で2つのモデルを並行して実行すると、これらの共有アセットを重複排除することで、全体的なメモリ消費量が削減されます。²

標準的なベンチマークスイート全体の評価は、技術的および多言語ワークロード全体で測定可能な精度の向上を示しています。¹³ MTEB Code評価スイートにおいて、EmbeddingGemma 2は78.68のスコアを達成し、直接の前身モデルによって記録された68.76から上昇しました。¹ この進歩は、前世代と比べて9.92ポイントの総合的な改善マージンを反映しています。¹ IT之家は、MTEB CodeやMAEBを含むsub-1Bパラメータのマルチモーダル埋め込みベンチマーク全体で、EmbeddingGemma 2がより大規模なモデルと同等またはそれを上回るトップレベルの成績を提供していると指摘しました。³

採用を促進するために、公開オープンウェイトハブ全体で配信チャネルが開設されました。¹² エンジニアは、Hugging FaceだけでなくKaggleを介してもモデルのチェックポイントを直接取得できます。² Googleはまた、エンタープライズ環境向けにGemini Enterprise Agent Platform Model Gardenにこのモデルを配置することを計画しています。² Apache 2.0のライセンス条件により、プロプライエタリな制限なしに広範な商用統合および適応が可能です。¹

広範なサービングをサポートするために、このモデルはオープンソースの展開エンジンの幅広いセレクションと統合されています。² 実装は、transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、およびLMStudioを通じてロードできます。² 生成されたベクトルインデックスを管理するために、Qdrantがベクトルストレージの送信先として公式にサポートされています。² これらのサービング経路により、チームはMLXを介したローカルのAppleハードウェア上と、vLLMまたはSGLangを使用した分散バックエンド上の両方にモデルを展開できます。²

エッジアクセシビリティは、専用のバックエンドインフラストラクチャを必要とせずにWebブラウザへと拡張されます。² 開発者は、transformers.jsを使用するかWebGPUアクセラレーションを介して、ブラウザ内でクライアントサイドのアプリケーションを実行できます。² 特定のデータセットで表現をカスタマイズしようとするエンジニア向けに、UnslothはEmbeddingGemma 2をファインチューニングするためのガイダンスを提供しています。² 柔軟なサービングランタイムと組み合わせることで、これらのツールにより、740Mパラメータのモデルを完全にクライアントエンドポイント上で適応および実行できるようになります。¹²