Alibaba · Dense · GQA
Qwen3-32B : VRAM par quantification et contexte
32.8 milliards de paramètres, 64 couches, 8 têtes KV. Voici ce que cela donne en gigaoctets.
Architecture
| Parameters | 32.8B | Vendor model card |
|---|---|---|
| Layers | 64 | config.json |
| Hidden size | 5120 | config.json |
| Attention heads | 64 | config.json |
| KV heads | 8 | config.json (GQA) |
| Head dim | 128 | config.json |
| Max context | 40960 tokens | config.json |
Source: Qwen/Qwen3-32B config.json
VRAM par quantification
Total includes 8K of KV cache and 1.5 GB runtime overhead.
| Quantification | Weights | KV @ 8K | Total requis | Tourne sur |
|---|---|---|---|---|
| FP16 / BF16 2.0 B/param | 65.6 GB | 2.1 GB | 69.2 GB | Mac Studio M4 Max 128GB |
| INT8 / Q8_0 1.06 B/param | 34.8 GB | 2.1 GB | 38.4 GB | Mac Studio M4 Max 128GB |
| Q4_K_M (4-bit) 0.6 B/param | 19.7 GB | 2.1 GB | 23.3 GB | Mac Studio M4 Max 128GB |
| Q5_K_M (5-bit) 0.72 B/param | 23.6 GB | 2.1 GB | 27.3 GB | Mac Studio M4 Max 128GB |
Cache KV par longueur de contexte
Q4_K_M weights plus 1.5 GB overhead. KV cache at FP16.
| Contexte | Cache KV | Total requis | Tourne sur |
|---|---|---|---|
| 4k | 1.1 GB | 22.3 GB | Mac Studio M4 Max 128GB |
| 8k | 2.1 GB | 23.3 GB | Mac Studio M4 Max 128GB |
| 16k | 4.3 GB | 25.5 GB | Mac Studio M4 Max 128GB |
| 32k | 8.6 GB | 29.8 GB | Mac Studio M4 Max 128GB |
| 64k | 17.2 GB | 38.4 GB | Mac Studio M4 Max 128GB |
| 128k | 34.4 GB | 55.5 GB | Mac Studio M4 Max 128GB |
Verdict
At Q4_K_M the weights alone are about 19.7 GB. With 8K of context and 1.5 GB of runtime overhead it lands near 23.3 GB. It fits: RTX 4090, RTX 3090, RTX 5090, Mac Studio M4 Max 128GB.
Retour au calculateur → · Ouvrir le calculateur de coût → · Why 70B won't fit in 24 GB →
Les débits sont des estimations issues de la bande passante mémoire et de mesures publiées. Les valeurs de VRAM sont calculées à partir de l'architecture et des hypothèses de quantification. Vérifiez sur votre propre environnement avant d'acheter.