Lokale Inferenz vs. API: Was ist wirklich billiger?
Eine GPU ist ein Fixkostenblock, eine API ein variabler. Die Antwort hängt vom erzeugten Tokenvolumen ab — rechnen Sie mit Ihren Zahlen.
Kostenvergleich
Aktualisiert beim Tippen. Nichts verlässt Ihren Browser.
Nutzbarer Speicher liegt unter dem Nennwert: 90 % bei NVIDIA, 85 % bei einem 128-GB-Mac.
Lokal—
Hardware (abgeschrieben)—
Strom—
Lokale Kosten pro 1 Mio. Tokens—
Break-even—
Cloud-API—
Hardware amortisiert sich nur bei hohem monatlichem Tokenvolumen.
Alle Beträge in USD. Hardwarepreise sind US-Einzelhandelspreise und ändern sich.
Warum der Break-even weiter weg liegt als er aussieht
Die GPU wird einmal bezahlt, aber jedes Jahr abgeschrieben, und sie zieht Strom, ob sie rechnet oder nicht. Bei geringem Volumen dominieren die Fixkosten: Eine Karte für 1.799 $ erzeugt in drei Jahren rund 978 Mio. Tokens — etwa 2,08 $ pro Million. Das schlägt günstige APIs, aber nicht die billigsten.
Annual electricity = TDP(kW) × hours/day × 365 × price/kWh
Annual depreciation = hardware price / depreciation years
Tokens per year (M) = tok/s × 3600 × hours/day × 365 / 1,000,000
Cost per 1M tokens = (annual depreciation + annual electricity) / tokens per year
Mit eigenen Zahlen rechnen
Ändern Sie API-Preis, Tagesvolumen und Hardware im Rechner. Jede Annahme ist sichtbar.
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.