Warum ein 70B nicht in 24 GB passt (trotz der Tutorials)
Ein 70B wiegt in Q4 rund 42 GB. Hier die Rechnung hinter Tutorials, die behaupten, es liefe auf 24 GB.
Die Rechnung in vier Zeilen
Die Aussage, ein 70B laufe auf einer 24-GB-Karte, ist nicht direkt gelogen. Es läuft. Was die Tutorials verschweigen, ist die Geschwindigkeit — und dass der Großteil des Modells gar nicht auf der Karte liegt.
Keine Quantisierungstricks schließen 25 GB. Selbst Q2_K, das die Qualität deutlich senkt, lässt etwa 25 GB Gewichte vor jedem Cache.
Warum die Tutorials sagen, es funktioniere
Weil llama.cpp und Ollama bereitwillig Schichten, die nicht passen, in den System-RAM auslagern und dann melden, das Modell sei geladen. Es ist geladen. Es läuft mit 1–3 Tokens pro Sekunde.
Der Grund ist die Bandbreite. Jedes erzeugte Token verlangt, alle aktiven Gewichte erneut zu lesen. Die 25 GB im System-RAM müssen über PCIe, praktisch etwa 20–25 GB/s. Fünfundzwanzig Gigabyte pro Token bei 25 GB/s sind rund ein Token pro Sekunde, vor jeder Berechnung.
Wenn ein Tutorial ein 70B auf 24 GB zeigt und keine tok/s nennt, zeigt es einen Ladebildschirm, keine nutzbare Konfiguration.
Was ein 70B wirklich trägt
- 48 GB auf einer Karte — RTX A6000 oder vergleichbar. Bei 8K komfortabel, darüber knapp.
- Zwei 24-GB-Karten — zwei gebrauchte 3090. Gewichte aufgeteilt, KV-Cache inklusive. Der günstigste Weg zu einem nutzbaren 70B, wenn Gehäuse und Netzteil mitmachen.
- 64 GB oder mehr Unified Memory — Mac Studio. Langsamer pro Token, aber leise und sparsam.
- Mieten — bei wenigen Einsätzen im Monat kostet ein Cloud-GPU weniger als die Hardware.
Wofür 24 GB wirklich gut ist
Eine 24-GB-Karte ist eine gute Wahl — für die passenden Modelle. Sie trägt 8B und 14B mit Reserve, 24B komfortabel und 32B in Q4 mit etwa 8K Kontext. Das deckt den Großteil von Chat, Coding-Assistenz und Dokumentzusammenfassung ab.
Der Fehler ist nicht, eine 24-GB-Karte zu kaufen. Der Fehler ist, sie in der Erwartung eines 70B zu kaufen und die Lücke erst nach Ablauf der Rückgabefrist zu bemerken. Rechnen Sie zuerst im Rechner — zehn Sekunden, und der Fehlbetrag steht da.
Warum 0,60 Byte pro Parameter bei Q4 statt 0,50?
Warum den KV-Cache separat berechnen?
Sind die tok/s gemessen?
Ein 70B-Modell läuft wirklich nicht auf 24 GB?
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.