为什么 70B 装不进 24GB 显存（尽管教程说可以）

四行算术

「70B 能在 24GB 卡上跑」这句话严格来说不算撒谎。它确实能跑。教程没说的是速度，以及大部分模型根本不在卡上。

权重 = 70.6B 参数 × 0.60 字节 = 42.4 GB KV缓存 = 2 × 80 层 × 8 个KV头 × 128 维 × 2 字节 = 320 KiB/token 8K 上下文时 = 2.5 GB 运行时开销 = 1.5 GB 总需求 = 46.4 GB 24GB 卡可用（90%） = 23.2 GB 缺口 = 23.2 GB

没有任何量化技巧能填掉 25GB 的缺口。即使用明显掉质量的 Q2_K，光权重也还在 25GB 左右，缓存还没算。

为什么教程说能跑

因为 llama.cpp 和 Ollama 会很乐意把装不下的层 offload 到系统内存，然后报告「模型已加载」。确实加载了，只是跑在 1–3 tok/s。

原因是带宽。每生成一个 token 都要把全部激活权重读一遍。住在系统内存里的那 25GB 必须过 PCIe，实测带宽大约 20–25 GB/s。每 token 读 25GB，按 25 GB/s 算，光传输就是一秒一个 token，还没算计算。

识别方法

如果一篇教程演示 70B 跑在 24GB 上，却绝口不提 tok/s，那它展示的是加载界面，不是一个能用的配置。

真正跑得动 70B 的方案

单卡 48GB — RTX A6000 一类专业卡。8K 上下文舒适，更长就紧了。
两张 24GB 卡 — 两张二手 3090。权重分开放，KV 缓存也算得下。这是拿到可用 70B 最便宜的路径，前提是机箱和电源扛得住。
64GB 以上统一内存 — Mac Studio。每 token 更慢，但安静、省电。
租用 — 一个月只用几次 70B 的话，云 GPU 比买硬件便宜。

24GB 真正擅长什么

24GB 卡是个很好的选择——前提是配对的模型对。它能宽裕地跑 8B 和 14B，舒适地跑 24B，以及在 Q4 下跑 32B、上下文约 8K。这已经覆盖了大部分对话、编程辅助和文档摘要场景。

错不在买 24GB 卡，错在买它的时候指望跑 70B，等发现缺口时退货期已经过了。先在计算器里把数字跑一遍——十秒钟，缺口会直接显示出来。