AI
LocalAI 计算器
显存 · 速度 · 每百万 Token 成本

本地推理 vs 云 API: 到底哪个更便宜?

显卡是一次性固定成本,API 是按量计费。答案取决于你到底生成多少 token——所以用自己的数字来算。

成本对比
输入即算,全部在本地完成。
可用显存要低于标称值:NVIDIA 按 90%,128GB Mac 按 85%。
3.00
1.0
4h
0.12
本地—
设备(折旧后)—
电费—
本地每百万 Token 成本—
回本周期—
云 API—
只有月产 token 足够高,设备成本才能被摊薄。
全部金额以美元计。硬件为美国零售价,会变动。

为什么回本比你想象的慢

显卡只付一次钱,但每年都在折旧,而且不管跑不跑都在耗电。用量低时固定成本占主导:一张 $1,799 的卡三年产出约 9.78 亿 token,折合约 $2.08/百万——和便宜的 API 打得过,但打不过最便宜的那几档。

Annual electricity = TDP(kW) × hours/day × 365 × price/kWh Annual depreciation = hardware price / depreciation years Tokens per year (M) = tok/s × 3600 × hours/day × 365 / 1,000,000 Cost per 1M tokens = (annual depreciation + annual electricity) / tokens per year

用你自己的数字算

在计算器页面改 API 单价、日用量和硬件,每个假设都可见可改。

计算器 →  ·  读硬件选型指南 →

所有吞吐数字均为基于内存带宽与公开实测的估算值,显存数字按模型架构与量化假设推算。购买硬件前请以你自己的运行环境为准。