colibrìとは？25GB RAMでGLM-5.2 744Bを動かす純C製LLM推論エンジン
GitHub で急上昇中の colibrì（⭐16,065）は、744億パラメータのMixture-of-Experts（MoE）モデル「GLM-5.2」をGPU不要・RAM約25GBのコンシューマー機で動かすことを実現した純C製LLM推論エンジンです。依存ライブラリゼロ、Pythonランタイム不要。単一のCファイル（c/glm.c）に実装されています。
GLM-5.2はZhipu AIが開発した744Bパラメータ��フロンティア級LLMですが、MoEアーキテクチャにより1トークン生成時に実際に使うパラメータは約40B。colibrì はこの特性を活かし、約17BのDense部分をRAMに常駐させ、残り19,456個の専門家（Expert）をNVMe SSDからストリーミング読み出しすることで、H100 GPU（1台数百万円）ではなく25GBのPC上での実行を可能にしました。
なぜ今colibrìが注目されるのか：llama.cppとの根本的な違い
既存ツールが抱えていた課題
llama.cpp は GGUF フォーマットで多数のモデルに対応する優秀なランタイムですが、モデル全体をRAMに収めるアプローチを採用しています。そのため744B クラスのモデルをフル精度で実行するには数百GBのメ���リが必要になります。多くのユーザーは小型モデルで妥協するか、高価なサーバーを借りるしかありませんでした。
colibrì の革新的なアプロー��
colibrì は「MoEモデルは同時に全パラメータを使わない」という事実を利用したDisk-Streaming Expert Executionで解決します：
| 要素 | メモリ | 内容 |
|---|---|---|
| Dense部分（Attention・Shared Expert・Embedding） | RAM 9.9 GB | 常時メモリ常駐 |
| 19,456 Routed Experts（MoE層×256個） | ディスク 370 GB | 要求時にLRUキャッシュ経由でストリーミ��グ |
| OS Page Cache | 自動活用 | L2キャッシュとして無料で機能 |
さらにMTP（Multi-Token Prediction）投機的デコーディングにより、int8ヘッド使用時に39〜59%の承認率で2.2〜2.8トークン/フォワードを実現しています。
なぜ今これほど話題なのか
2026年7月のリリースから僅か数日で16,000スターを超えました。背景には「GPUクラウドを使わずにフロンティア級LLMを手元で実験したい」という開発者・研究者の強いニーズがあります。特に37名のコントリビューターが加わり活発な開発が続いていることが、技術的信頼性の高さを示し���います。
colibrì の主要機能
コアエンジン機能
- Disk-Streaming MoE推論 — Expert をディスクからオンデマンドス��リーミング、per-layer LRUキャ��シュで高速化
- MTP投機的デコーディ��グ — int8 MTPヘッドで39〜59%の承認率、2.2〜2.8 tok/forward
- MLA圧縮KVキャッシュ ��� 32,768floatではなく576float/トークン（57倍圧縮）
- Grammar-Forced Speculative Drafts — JSON/NDJSON/関数呼び出し等の制約出力で速度向上
- KVキャッシュ永続化 — エンジン再起動後も会話をウォームスタートで継続
- AVX2整数ドットカーネル — int8矩阵計算で1.4〜2.5倍高速化
Webダッシュボード（./coli web）
./coli web # http://127.0.0.1:3333 でアクセ��
ライブトークンメトリクス・ハードウェアパネル・Expert使用状況を可視化。Brain ページでは19,456個のExpertが生きたコルテックスとして可視化され、ルーティングされたExpertがリアルタイムで点滅します。
セットアップと使い方
必要要件
| 要素 | 最小 | 推奨 |
|---|---|---|
| RAM | 16 GB | 25 GB以上 |
| ストレージ | NVMe SSD 370 GB+ | NVMe 高速品 |
| OS | Linux / macOS / Windows 11 (WSL2) | Linux ネイティブ |
| GPU | 不要 | CUDA対応GPU（Expert固定に利用可能） |
インストールと起動
# ビルド（Makefileを使用）
make
# モデルダウンロード（Hugging Face）
# int8 MTPヘッ���版を必ず使用すること
# https://huggingface.co/mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp
# チャット起動
./coli chat
# 🐦 colibrì v1.0 — GLM-5.2 · 744B MoE · int4 · streaming CPU
# ✓ ready in 32s · resident 9.9 GB
# › 日本語で話しかけてみてください
# Webダッシュボード起動
./coli web
数値の再現確認
npm run verify-claims # ベンチマーク数値を再計算確認
こんな人に向いている
機械学習エンジニア・AIリサーチャー
手元のワークステーション（RAM 32GB + NVMe SSD）でGLM-5.2を実験したいMLエンジニアに最適です。クラウドGPUのコストを気にせず、744Bクラスのモデルアーキテクチャ（MoE・MLA・DSA）を実際に動かして研究できます。特にMoEの Expert ルーティング動作をBrainページで可視化できる点は、LLM研究者にとって他のランタイムにない価値です。
LLMの自己ホスト・プライバシー重視のエンジニア
外部APIに入力データを送りたくない業務要件がある場合、colibrì はインターネット接続不要で744BクラスのLLMをローカル実行できる数少ない手段です。KVキャッシ��永続化により長期間の会話セッションも維持できます���
C言語・システムプログラミング学習者
単一のCファ��ルでフロンティアLLMの推論エンジンを実装するという教育的価値も高く、量子化カーネル・MoEルーティング・投機的デコーディングの実装を読み解くことができます。
使う前に知っておきたいこと
ストレージとパフォーマンスの実態
コールドキャッシュ時のトークン生成速度は0.05〜0.1 tok/sです（12コア/NVMe環境）。これはディスクの帯域幅に依存しており、「fast SSD = それなりに速い」ではなく、GLM-5.2の構造上キャッシュが温まるまでは遅いことを理解した上で使う必要があります。GPU（6x RTX 5090構成）では6.84 tok/sも達成可能ですが、そのような環境は一般的では��りません。
SSDへの負荷
ReadonlyアクセスがメインですのでSSDの書き込み耐久度への影響は限定的ですが、長時間の連続利用ではドライブの温度上昇に注意が必要です。スワップが発生するとSSDに書き込みが起き耐久度に影響するため、--ramパラメータでメモリバジェットを適切に設定してください。
モデルダウンロード時の注意点
必ずint8 MTPヘッド版（mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp）をダウンロード���てください。 別のミラー（jlnsrk/GLM-5.2-colibri-int4）のint4 MTPヘッドでは投機的デ���ーディングの承認率が0〜4%に落ち、MTPの恩恵が全く受け���れません。
ライセンスについて
colibrì のエンジン部分のライセンスはリポジトリのLICENSEファイルで確認してください。GLM-5.2モデルはZhipu AIのライセンスに従います。商用利用前は両方を確認することを推奨しま��。
ベンチマーク：数値の読み方
colibrì は全ての性能主張をnpm run verify-claims��再計算可能なレシート付きベンチマークを採用しています。
| テスト | 結果 |
|---|---|
| MTP承認率（int8ヘッド�� | 39〜59%（コミュニティ計測） |
| MTP効果 | 2.2〜2.8 tok/forward |
| GPU構成（6x RTX 5090） | 6.84 tok/s |
| WSL2/25GB RAM コールド | 0.05〜0.1 tok/s |
重要な注意点: これらの数値はシングルリクエスト・特定のシステム構成での計測値です。8オペレータースウォームのベンチマークは未実施であり、あくまでシングルエージェントパスの計測であることを念頭に置いてください。
まとめ：colibrì が切り開く「ディスクストリーミングLLM」の時代
colibrì は744B MoEモデルをRAM25GBで動かすという「不可能を可能にした」エンジンです。16,000スターと37名のアクティブなコント���ビューターが集まった背景には、「GPUなしでフロンティア級LLMを手元で使いたい」という開発者の切実なニーズがあ���ます。
速度を期待してはいけません。しかし正解を出すという点においては、H100より遥かに安いマシンで744Bクラスのモデルが動くことに変わりはありません。ローカルLLM実験の民主化という観点で、2026年最も重要な技術リリースの一つです。
関連ツール・おすすめサービス
- Perplexity AI — AIを使った高精度な情報検索、LLM活用のリサーチツールとして
- DigitalOcean — GPU Dropletsでクラウド推論環境を素早く構築
この技術を学ぶ
AIに興味を持った方には、UdemyのオンラインコースもおすすめCtrl+です。
- 🎓 関連するAIコース一覧 — セール時（最大90%OFF）を狙うとお得です
関連記事
この記事が役に立ったらシェアしてください