ローカルLLM ハードウェアガイド 2026

まずモデルを決め、それからGPUを決める

ハードウェア選定で最も多い失敗は、予算から出発してしまうことです。実際に動かしたいモデルを先に決め、必要なメモリを算出し、GPUは最後に選びます。

以下の数値はすべてQ4_K_Mが前提です。重みは1パラメータあたり0.60バイト（理論値0.50ではなく実測値）、KVキャッシュは8Kコンテキストで計算しています。

サイズ別の実際の必要量

最後の行が最も過小評価される部分です。70BはQ4でも24GBには収まらず、設定ではどうにもなりません。このサイトに専用の記事があります。

4つの選択肢

1. 24GBカード1枚（RTX 3090 / 4090）

8B〜24Bモデルのスイートスポットです。中古3090は24GBを得る最安の方法で、936 GB/sあれば8B Q4で約55 tok/s出ます。4090は帯域と低遅延を足しますが、価格は約2倍です。

2. 32GBカード1枚（RTX 5090）

32Bを余裕のあるコンテキストで、あるいは8Bを大きなバッチで動かせます。カードは高速ですが、GB単価は中古3090より悪く、帯域に払っていることになります。

3. Appleシリコン（Mac Studio / Mac mini）

ユニファイドメモリなら48GBのGPUなしで64GBに70Bを載せられます。代償は帯域で、M4 Maxの546 GB/sはRTX 4090の約半分、tok/sは低くなります。バッチ処理・長文書処理・低消費電力には適し、速度重視の対話には向きません。

4. 2枚差し、または48GBのプロ向けカード

70Bの入り口です。中古3090 2枚は48GBカード1枚より安く済みますが、消費電力・騒音・対応マザーボードと電源が必要になります。70Bを時々しか使わないなら、クラウドGPUのレンタルの方が安いことが多いです。

実際にお金を失う3つの誤り

• 理論値のQ4サイズで買う。 0.50バイトなら32Bは16GBに見えますが、実測0.60では19.7GB、KVを足すと24GBカードの限界です。常に0.60で計算してください。
• KVキャッシュを無視する。 4Kで収まるモデルが32Kで落ちます。長文を扱うなら購入前にキャッシュを織り込んでください。
• 不要な帯域に払う。 4090は3090の約2倍の価格で帯域は約8%増。8Bを1日数時間なら元は取れません。

最初に買うべきもの

迷ったら中古24GBカード1枚で8B〜14Bを1か月動かし、実際の使用量を測ってからメモリか速度のどちらが足りないかを決めます。コスト計算で、その使い方での100万トークン単価が分かります。