ローカル推論 vs クラウドAPI： どちらが本当に安いのか
GPUは固定費、APIは変動費。答えは生成するトークン量次第です。自分の数字で計算してください。
コスト比較
入力すると即座に更新。すべてブラウザ内で完結します。
使用可能メモリは公称値より少なくなります。NVIDIAは90%、128GB Macは85%。
ローカル—
本体（減価償却）—
電気代—
ローカル実効単価（$ / 100万トークン）—
回収期間—
クラウドAPI—
月間トークン量が十分大きいときだけ、本体費用が薄まります。
金額はすべて米ドル。ハードウェアは米国小売価格で変動します。
回収が思ったより遅い理由
GPUは一度の支払いですが毎年減価し、稼働していなくても電力を消費します。低用量では固定費が支配的で、$1,799のカードが3年で約9.78億トークンを生む場合、約$2.08/100万トークン。安価なAPIには勝てますが、最安値のAPIには勝てません。
Annual electricity = TDP(kW) × hours/day × 365 × price/kWh
Annual depreciation = hardware price / depreciation years
Tokens per year (M) = tok/s × 3600 × hours/day × 365 / 1,000,000
Cost per 1M tokens = (annual depreciation + annual electricity) / tokens per year
自分の数字で計算する
計算ツールでAPI料金・1日量・ハードウェアを変更できます。前提はすべて表示されます。
スループットはメモリ帯域と公開実測に基づく推定値、VRAMはモデル構造と量子化の仮定から算出しています。購入前にご自身の環境で確認してください。