WeMM-Embeddingとは？Tencent製マルチモーダル埋め込みモデルの使い方
TencentのWeChatを支えるWeChat Visionチームが、マルチモーダル埋め込みモデルシリーズWeMM-Embeddingをオープンソースで公開しました（1482スター、Apache 2.0ライセンス）。テキスト・画像・動画・ビジュアル文書を単一のベクトル空間に統一し、78データセットのMMEB-v2ベンチマークで2Bモデルが77.9点のSOTAを達成しています。
日本語の実践的な記事はほとんどなく、本記事ではコード例・ベンチマーク比較・活用シナリオを体系的に解説します。
WeMM-Embeddingとは？マルチモーダル埋め込みの基本
マルチモーダル埋め込みとは、異なるモダリティ（テキスト・画像・動画など）を同一のベクトル空間に変換する技術です。これにより「画像で検索してテキスト結果を取得」「テキストクエリで動画を検索」といったクロスモーダル検索が可能になります。
WeMM-Embeddingは、Qwen3.5をベース言語モデルとして採用し、マルチモーダルエンコーダーを組み合わせた統一アーキテクチャです。最大の特徴は全入力モダリティを単一の<embedding>トークン位置から取得し、L2正規化することで高精度なコサイン類似度計算を実現している点です。
| 項目 | 内容 |
|---|---|
| スター数 | 1,482 |
| ライセンス | Apache 2.0（商用利用可） |
| 言語 | Python |
| 対応入力 | テキスト・画像・動画・ビジュアル文書・混合入力 |
| 非対応 | 音声入力（現時点） |
| HuggingFace | tencent/WeMM-Embedding-{2B,4B,9B} |
WeMM-Embeddingのモデルサイズ比較とMatryoshka次元の使い方
3サイズのモデルZoo
| モデル | サイズ | Matryoshka次元 | MMEB-v2 AVG |
|---|---|---|---|
| WeMM-Embedding-2B | 2B | 64〜2,048 | 77.9（SOTA） |
| WeMM-Embedding-4B | 4B | 64〜2,560 | 79.2 |
| WeMM-Embedding-9B | 9B | 64〜4,096 | 80.6 |
Matryoshka埋め込みで次元を柔軟調整
Matryoshka表現学習（MRL）を採用しており、フル次元の埋め込みを圧縮しても高精度を維持します。
import torch
import torch.nn.functional as F
# フル次元埋め込みから256次元に圧縮
embedding = F.normalize(embedding[..., :256], dim=-1)
# 2Bモデルで256次元でもMMEB-v2の98.7%の精度を保持
低レイテンシが求められるリアルタイム検索では256次元、精度最優先のオフライン処理では2048次元と、用途に応じて使い分けられます。
インストールと基本的な使い方
Sentence Transformersで使う（推奨）
pip install -r requirements.txt
python examples/sentence_transformers_inference.py \
--model tencent/WeMM-Embedding-2B \
--image /path/to/image.jpg \
--video /path/to/video.mp4 \
--dimension 2048
HuggingFaceのモデルIDをそのまま使えます。SentenceTransformer.encode()でテキスト・画像・動画を統一的に処理できます。
Transformersで使う
python examples/transformers_inference.py \
--model /path/to/WeMM-Embedding-2B \
--image /path/to/image.jpg \
--video /path/to/video.mp4 \
--dimension 2048
再現性のためにはtransformers==5.2.0の使用を推奨します（新バージョンは前処理が異なる可能性）。
vLLMでのサービング
MODEL_PATH=/path/to/WeMM-Embedding-2B
vllm serve "$MODEL_PATH" \
--runner pooling \
--chat-template "$MODEL_PATH/embedding_chat_template.jinja"
SGLangでもscripts/serve_sglang.shラッパーで同等の展開が可能です。
ベンチマーク比較：SOTAを証明する数字
MMEB-v2（78データセット）での比較
| モデル | サイズ | AVG | 画像 | 動画 | ビジュアル文書 |
|---|---|---|---|---|---|
| VLM2Vec | 2B | 47.8 | 59.7 | 29.0 | 44.0 |
| GME | 2B | 55.4 | 51.9 | 33.9 | 76.8 |
| Qwen3-VL-Embedding | 2B | 73.2 | 75.0 | 61.9 | 79.2 |
| WeMM-Embedding-2B | 2B | 77.9 | 79.6 | 70.8 | 80.7 |
| WeMM-Embedding-4B | 4B | 79.2 | 80.8 | 72.1 | 82.0 |
特に動画タスクでQwen3-VL-Embedding（61.9）を大きく上回る70.8を達成した点が注目されます。
こんな人に向いている：職種別活用シナリオ
MLエンジニア・AIエンジニア
マルチモーダルRAGシステムの構築が最も典型的なユースケースです。社内ドキュメント（PDF・PowerPoint・動画）とテキストクエリを同一ベクトル空間で検索し、LLMへの入力コンテキストを強化できます。
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("tencent/WeMM-Embedding-2B")
# テキストと画像を同一空間に埋め込み
text_embedding = model.encode("製品の使い方を教えて")
image_embedding = model.encode(image_path)
# コサイン類似度で類似画像を検索
similarity = (text_embedding @ image_embedding.T)
eコマースの商品検索では、商品画像と商品説明文を統一埋め込みしてレコメンドエンジンを構築できます。
データサイエンティスト
動画コンテンツの意味論的クラスタリング・教育動画の自動タグ付け・ソーシャルメディアコンテンツのマルチモーダル分析に活用できます。MMEB-v3ベンチマークのAgent/MCMRタスクでも高精度を示しており、複雑なマルチモーダル推論にも対応します。
WeMM-Embeddingとの違い・なぜ今このモデルか
主要マルチモーダル埋め込みモデルとの比較
| 比較観点 | WeMM-Embedding | OpenAI text-embedding-3 | CLIP (ViT-L) |
|---|---|---|---|
| 動画対応 | ✅ | ❌ | ❌ |
| 商用ライセンス | Apache 2.0（無料） | 有料API | MIT |
| セルフホスト | ✅ | ❌ | ✅ |
| マルチモーダル統一 | ✅（テキスト+画像+動画+文書） | テキストのみ | テキスト+画像 |
| MMEB-v2スコア | 77.9〜80.6 | 非公開 | 参考値のみ |
動画モダリティに対応しつつセルフホストで無料利用できる点が、OpenAIやCLIPとの最大の差別化です。
2026年8月に公開された背景
WeMM-Embeddingは技術レポート（arxiv:2608.24053）と同時公開されました。WeChat（1億MAU超）の内部検索基盤で実証されたモデルが、Apache 2.0でOSS化されたことが急速な注目を集めた要因です。
使う前に知っておきたいこと
音声入力は現時点で非対応
MMEB-v3のAudioカテゴリでスコア0.0と記載されている通り、音声入力は現時点でサポートされていません。音声を含むマルチモーダルシステムには別途音声埋め込みモデルを組み合わせる必要があります。
Transformersバージョンの固定
再現性のためにtransformers==5.2.0の使用が推奨されています。新バージョンでは前処理の挙動が変わる可能性があるため、本番環境ではバージョンを固定してください。
ハードウェア要件
9Bモデルのフル精度推論にはGPU VRAM 24GB以上が必要です。Matryoshka圧縮や量子化（4bit/8bit）を活用することで、より小さいGPUでの実行も可能です。vLLMの--runner poolingモードを利用した場合の動作確認バージョンはvLLM 0.27.0です。
商用利用時のライセンス確認
Tencent製コードはApache 2.0ですが、サードパーティコンポーネントは元のライセンスを継承します。商用展開前に依存ライブラリのライセンスを確認してください。
まとめ
WeMM-EmbeddingはMMEB-v2・MMEB-v3の両ベンチマークで既存SOTAを上回り、動画・ビジュアル文書を含むマルチモーダル検索の最前線を牽引するモデルです。Apache 2.0ライセンスで商用利用可能、HuggingFaceから即ダウンロードでき、Sentence Transformers・vLLM・SGLangと主要スタックに対応しています。マルチモーダルRAGや検索基盤の強化を検討するMLエンジニア・AIエンジニアに最適な選択肢です。
関連ツール・おすすめサービス
- DigitalOcean — GPU Dropletsを活用してWeMM-Embeddingをセルフホストデプロイするならこちら
- Perplexity AI — マルチモーダルAI活用の最新情報をAI検索で収集
この技術を学ぶ
AIに興味を持った方には、UdemyのオンラインAI・機械学習コースもおすすめです。
- 🎓 関連するAI・MLコース一覧 — セール時（最大90%OFF）を狙うとお得です
関連記事
この記事が役に立ったらシェアしてください