# colibri - 在 25GB 内存电脑上运行 GLM-5.2 (744B MoE) **URL:** \ **Category:** 青蛙的应用\ **Created:** [2026 年7 月 14 日 06:10 UTC](https://meta.appinn.net/t/topic/88194 "2026-07-14T06:10:55Z")\ **Posts on this page:** 8\ **Page:** 1
作者： ![Qingwa](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/qingwa/32/58632_2.png) [@Qingwa](https://meta.appinn.net/u/Qingwa)\ 发布日期： [2026 年7 月 14 日 06:10 UTC](https://meta.appinn.net/t/topic/88194/1 "2026-07-14T06:10:55Z")
原始链接在： [colibri – 在 25GB 内存电脑上运行 GLM-5.2 (744B MoE) - 小众软件](https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/) **colibri** 是一个非常实用的开源项目，它能让普通电脑也能运行超大语言模型（GLM-5.2（744B），并且可以在 **无显卡** 的情况下，仅使用 CPU，但需要至少25G 内存。@[Appinn](https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/) ![](https://h2cdn.appinn.me/original/3X/a/d/adf4f604bed9a7f024419383d2c9ada77c7aed4c.jpeg) ## 普通电脑跑 GLM-5.2（744B）模型 colibri 使用纯 C 语言，零依赖。可以按需从硬盘加载 Expert（专家）参数，只需要 25GB 内存的家用电脑，就可以运行 GLM-5.2（744B 参数 MoE）。 没有 BLAS 依赖，，不用 Python，不需要 GPU（但支持 CUDA 加速）。 它不一次性把模型全部放到内存中，而是把不常用的模型参数存放在硬盘里，需要时再读取，因此只需约 25GB 内存，就能运行原本需要数百 GB 显存的 GLM-5.2（744B）模型。 ## GLM-5.2（744B） 而 GLM-5.2（744B）是智谱（Z.ai）于 2026 年发布的旗舰开源模型，也是目前最强的开源模型之一。就是那个曾经万亿市值大模型公司。 它的几个关键参数： - 总参数：744B（7440 亿） - MoE（混合专家）架构：总参数 744B，但每次推理只激活约 40B 参数。 - 上下文长度：100 万 Token - MIT 开源协议，可商用、可本地部署。 - 官方提供权重，可在 vLLM、llama.cpp 等框架中运行。 根据业界评论，GLM-5.2 是目前最接近 GPT、Claude 等闭源旗舰模型的开源大模型之一。 ## 但是，它需要 370GB 硬盘 因为 **GLM-5.2** 真的很强，很大，光模型文件本身（GLM-5.2-INT4），就需要370GB硬盘。 ![](https://h2cdn.appinn.me/original/3X/f/f/ff2b4271eb0755327ad32c4bb5f37da3e4c8fa99.avif) 所以，像青小蛙这种电脑里只有 260GB的用户来说，虽然有25GB内存，但是没有370GB硬盘啊 😭 支持的系统： - **Linux** （推荐，开发和测试主要平台） - **macOS** （支持 Intel 和 Apple Silicon） - **Windows 11 原生** （使用 MinGW-w64 编译，无需 WSL） - **WSL2** （Windows 下也可以使用） ## 关于速度 开发者有一个预估的速度： | 硬件配置 | 预计速度 | | --- | --- | | 25GB RAM + 约 1GB/s NVMe | **0.05–0.1 tok/s** | | 32GB RAM + PCIe 4.0 NVMe（3–5GB/s） | **0.5–1 tok/s** | | 64GB RAM + PCIe 5.0 / 双 NVMe RAID（8–12GB/s） | **2–4 tok/s** | | 128–256GB RAM（热点 Expert 已缓存） | **2–4 tok/s** | | 128GB+ RAM + 24–32 核 CPU 或 AVX-512 | **5–15 tok/s** （可交互） | 还有一个实测的速度： | 平台 | 速度 | | --- | --- | | Intel Ultra 7 + 24GB RAM | **0.07 tok/s** | | Intel Ultra 7（`--topp 0.7`） | **0.11 tok/s** | | Apple M5 Max（CPU） | **1.06 tok/s** | | Apple M5 Max（Metal） | **1.83 tok/s** | | Apple M5 Max（优化后） | **2.06 tok/s** （目前最快） | | Mac mini M4 Pro 48GB（Metal） | **0.30 tok/s** （CPU-only 为 0.18） | | Ryzen 9950X + PCIe5 SSD | **0.28 tok/s** | | Ryzen AI Max+ 395（缓存预热后） | **0.40 tok/s** | | Ryzen 9800X3D + RTX 5090 | **0.41 tok/s** （开启 `--topp 0.7` 后 **0.52 tok/s** ） | | EPYC 7443 + 430GB RAM | **1.00 tok/s** | 虽然惨不忍睹，但是，这是 744B 大模型啊。这种级别的模型，往常至少需要 370GB 显存啊，如果是更高精度（FP16）的模型，可能需要1.5TB显存。 所以在只有25GB内存的家用电脑上，让 744B 跑起来，已经很神奇了。 最后，作者明确表示：”This is not fast.”（它并不快。），这不快。 这是一个 744B 前沿级模型，能在一台成本低于一个 H100 风扇的机器上正确响应。 * * * 原文：https://www.appinn.com/colibri-run-glm-5-2-744b-on-25gb-ram/ 先解决能不能用，对吧。 ---
作者： ![hzhbest](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/h/e9a140/32.png) [@hzhbest](https://meta.appinn.net/u/hzhbest)\ 发布日期： [2026 年7 月 14 日 06:22 UTC](https://meta.appinn.net/t/topic/88194/2 "2026-07-14T06:22:58Z")
时间换空间、换资金、换发热…… ---
作者： ![SmallPackage](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/smallpackage/32/57958_2.png) [@SmallPackage](https://meta.appinn.net/u/SmallPackage)\ 发布日期： [2026 年7 月 14 日 07:32 UTC](https://meta.appinn.net/t/topic/88194/3 "2026-07-14T07:32:57Z")
这速度有点太感人了，目前可能还是等硬件迭代更现实了。 ---
作者： ![vevan](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/vevan/32/7490_2.png) [@vevan](https://meta.appinn.net/u/vevan)\ 发布日期： [2026 年7 月 14 日 09:19 UTC](https://meta.appinn.net/t/topic/88194/4 "2026-07-14T09:19:52Z")
把硬盘当内存用的邪修。。。 ---
作者： ![hohoping](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/h/d07c76/32.png) [@hohoping](https://meta.appinn.net/u/hohoping)\ 发布日期： [2026 年7 月 14 日 11:07 UTC](https://meta.appinn.net/t/topic/88194/5 "2026-07-14T11:07:26Z")
也许再过个几年大模型的配置需求都会大大降低 ---
作者： ![lhb5883](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/lhb5883/32/3362_2.png) [@lhb5883](https://meta.appinn.net/u/lhb5883)\ 发布日期： [2026 年7 月 15 日 12:59 UTC](https://meta.appinn.net/t/topic/88194/6 "2026-07-15T12:59:16Z")
至少大部分是读，基本上没什么写入，比某云服务智障客户端把SSD写爆还是强多了。 ---
作者： ![lhb5883](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/lhb5883/32/3362_2.png) [@lhb5883](https://meta.appinn.net/u/lhb5883)\ 发布日期： [2026 年7 月 15 日 13:00 UTC](https://meta.appinn.net/t/topic/88194/7 "2026-07-15T13:00:38Z")
傲腾盘感觉很适合干这个。 ---
作者： ![hooke007](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/hooke007/32/33051_2.png) [@hooke007](https://meta.appinn.net/u/hooke007)\ 发布日期： [2026 年7 月 15 日 14:19 UTC](https://meta.appinn.net/t/topic/88194/8 "2026-07-15T14:19:10Z")
这个项目我当时readme看了几行就直接关掉了。。。 “ _The web dashboard (`./coli web`): a 744B model answering at 4+ tok/s end-to-end on 6× RTX 5090 — with live token metrics, the hardware panel, and the VRAM/RAM/disk expert tiers._” 第二是glm的量化后能存疑，nv给的那个免费的glm被怀疑是nvfp4（宣称是接近极低损的量化）都被吐槽和弱智一样。 第三本地ai最大问题是多轮问答后的prefill和decode断崖下滑问题。。。