Colibrì 1.0 が公開された。7440億パラメーターの MoE モデル GLM-5.2 を、約 25GB の RAM を持つ一般向けマシンで動かす純 C の推論エンジンである。実行時に Python や BLAS、GPU は不要で、VRAM／RAM にモデル全体を載せない。常駐するのは注意機構・共有エキスパート・埋め込みなど約 170億パラメーター分を int4 にした約 9.9GB で、入力ごとに選ばれる 19,456 個の routed experts（約 370GB）は NVMe 上に置き、必要時だけ読み出す。1 トークンあたり活性化するのは約 400億パラメーターである。
起動例は次のとおり。
bash
cd c
./setup.sh
COLI_MODEL=/path/to/GLM-5.2-colibri-int4-with-int8-mtp ./coli chat主な仕組みと制約は次のとおり。
- 層ごとの LRU キャッシュと、利用履歴に基づくホットエキスパートのピン留めがある
- 開発機（WSL2・12 コア・25GB RAM・NVMe via VHDX）では、コールド時のデコードが約 0.05〜0.1 tok/s、トークンあたり約 11GB のディスク読みとなる
- GLM-5.2 の MTP ヘッドによる投機的デコーディングがあり、MTP ヘッドは int8 である必要がある。int8 では 39〜59% の受理率、2.2〜2.8 tok/forward が測定されている。int4 の MTP ヘッドでは受理率がほぼ 0% になる
- 事前変換済みの int4 コンテナは Hugging Face から取得できる。自前変換はシャード単位の FP8→int4 コンバータで、756GB の FP8 全体を一度に置かなくてよい