[分享] colibri，纯 C 写的推理引擎，号称能在普通机器上跑 744B 的 MoE

本周 trending 第一，colibri，纯 C、零依赖，跑 MoE 大模型的。

思路挺有意思：MoE 每次推理其实只激活一小部分专家，作者就把不常用的专家权重扔磁盘上，按需流进来。readme 里写 744B 的 GLM-5.2 常驻内存只要 9.9G，听着就离谱，但细想又有几分道理。

支持 GLM、Kimi K3、DeepSeek、Qwen 好几个家族，有中文 readme，还有个 web 面板能看专家激活情况，Apache 协议。

硬盘够大的可以试试，我先 mark 了，有跑起来的兄弟分享下速度？

GitHub：https://github.com/JustVugg/colibri