本地大模型硬件选型指南（2026）

先定模型，再定显卡

硬件选型最常见的错误，是从预算出发而不是从模型出发。先确定你真正要跑的模型，算出它需要多少内存，显卡是最后一步决定，不是第一步。

下面的数字都基于 Q4_K_M——多数人实际在用的量化。权重按每参数 0.60 字节计算，这是实测值，不是理论上的 0.50。KV 缓存按 8K 上下文的默认值计算。

各规模模型的真实需求

最后一行是最容易被低估的。70B 在 Q4 下就是装不进 24GB，任何配置都改变不了这个算术。本站有专门一篇把这笔账拆开算。

四条硬件路线

1. 单张 24GB 卡（RTX 3090 / 4090）

8B 到 24B 模型的甜点区。二手 3090 是拿到 24GB 最便宜的方式，936 GB/s 带宽足够让 8B Q4 跑到约 55 tok/s。4090 带宽更高、延迟更低，但价格差不多翻倍。

2. 单张 32GB 卡（RTX 5090）

能让你在舒适上下文下跑 32B，或者用大 batch 跑 8B。卡很快，但每 GB 单价比二手 3090 差——你付的是带宽钱，不是容量钱。

3. Apple 统一内存（Mac Studio / Mac mini）

统一内存让你在 64GB 上装下 70B，而不需要 48GB 的专业卡。代价是带宽：M4 Max 的 546 GB/s 大约只有 RTX 4090 的一半，所以 tok/s 更低。批量任务、长文档处理和低功耗场景它很合适；要速度的交互式对话则不合适。

4. 双卡或 48GB 专业卡

70B 的入场券。两张二手 3090 比单张 48GB 卡便宜，但你要多付功耗、噪音，以及能扛住双卡的主板和电源。如果只是偶尔跑 70B，租云 GPU 通常比买更划算。

三个真金白银的坑

• 按理论 Q4 尺寸买卡。 按 0.50 字节/参数，32B 看起来只要 16GB；按实测 0.60 就是 19.7GB，加上 KV 缓存已经顶到 24GB 卡的边缘。永远用 0.60 算。
• 忽略 KV 缓存。 4K 上下文能装下的模型，32K 时可能直接崩。如果你打算喂长文档，买之前就要把缓存算进去。
• 为不需要的带宽付费。 4090 价格是 3090 的两倍，带宽只多约 8%。每天跑几小时 8B 模型的话，这个溢价收不回来。

建议的购买顺序

如果不确定，先买一张二手 24GB 卡，跑一个月 8B 到 14B 模型。测出真实用量之后，再决定是缺显存还是缺速度。成本计算器会告诉你，在你这个用量下这张卡每百万 token 花多少钱。