📑目次
筆者は業務で GPU クラウドとオンプレミスの両方を運用してきました。その経験から言える GPU AI 訓練の結論はシンプルです——スポットで使うならクラウドが圧倒的にコスパが良く、用途に合わせて自由にスケールできる。一方、LLM を日常的に使う頻度が増えた今、オンプレミスの「定額で使い放題」という価値も無視できなくなっています。
2026年は GPU 調達の選択肢がかつてないほど広がった年です。Blackwell Ultra（B300 / GB300、HBM3e 288GB）が出荷を本格化し、次世代の Vera Rubin も2026年後半に登場予定。世代交代が一気に進んだことで、1〜2世代前の H100 は中古市場で半値以下まで下落し、どの選択肢もこれまでで最もコストパフォーマンスの良いタイミングを迎えています。本記事では、筆者の実務経験をもとにクラウド・オンプレミス・エッジの3つのインフラ選択肢を料金・性能・ユースケースで徹底比較します。
GPU AI 訓練のインフラ選択肢 — 全体像【2026年版】
GPU AI 訓練のインフラは大きく3つに分類されます。それぞれの特性を理解することが、コスト最適化とプロジェクト成功の鍵です。
| 比較項目 | クラウド GPU | オンプレミス GPU | エッジ GPU |
|---|---|---|---|
| 初期コスト | 低い（従量課金） | 非常に高い（数千万〜数億円） | 中程度（数万〜数十万円） |
| ランニングコスト | 高い（長期利用時） | 電力・冷却費のみ | 電力費のみ（低消費電力） |
| スケーラビリティ | ◎ 即座にスケール可能 | △ ハードウェア追加に時間 | × 限定的 |
| 適合ユースケース | 大規模訓練・短期プロジェクト | 継続的な大規模訓練 | 推論・ファインチューニング・開発 |
| データセキュリティ | ○ プロバイダー依存 | ◎ 完全自社管理 | ◎ ローカル完結 |
| 導入までの期間 | 数分〜数時間 | 数週間〜数ヶ月 | 即日〜数日 |
出典：各プロバイダー公式サイト（2026年6月時点）
💡 選択のポイント
月額GPU費用が$15,000（約¥2,250,000）を超える場合、オンプレミスの方が3年間のTCO（総所有コスト）で有利になるケースが多くなります。一方、プロジェクト期間が6ヶ月未満であればクラウドが圧倒的にコスト効率が高いです。
クラウド GPU — 主要プロバイダー料金比較【2026年版】
筆者の経験では、スポット利用ならクラウドが最もコスパが良い。必要な時に必要なだけ GPU を確保し、用途に合わせて自由にスケールできるのが最大の利点です。ただし、継続利用する場合は Savings Plans や CUD などの割引制度の活用が必須——これを知っているかどうかで月額コストが2倍以上変わります。
AWS（Amazon Web Services）
AWS EC2はGPUインスタンスの種類が最も豊富で、スポットインスタンスによる大幅なコスト削減も可能です。
| インスタンス | GPU | VRAM | オンデマンド/時 | スポット/時（目安） |
|---|---|---|---|---|
| p4d.24xlarge | A100 x8 | 320 GB | $32.77（約¥4,916） | $12.50（約¥1,875） |
| p5.48xlarge | H100 x8 | 640 GB | $98.32（約¥14,748） | $39.33（約¥5,900） |
| p5e.48xlarge | H200 x8 | 1,128 GB | $115.00（約¥17,250） | $46.00（約¥6,900） |
| p6.48xlarge | B200 x8 | 1,440 GB | $142.00（約¥21,300） | $56.80（約¥8,520） |
| g6.xlarge | L4 x1 | 24 GB | $0.81（約¥122） | $0.24（約¥36） |
出典：AWS EC2 料金（2026年6月時点）
GCP（Google Cloud Platform）
Google Cloud GPUはTPUとの併用が可能な点が最大の差別化ポイントです。JAXフレームワークとの親和性が高く、大規模訓練で独自の強みを発揮します。
| マシンタイプ | GPU / アクセラレータ | VRAM / HBM | オンデマンド/時 | CUD 1年/時 |
|---|---|---|---|---|
| a2-highgpu-8g | A100 x8 | 320 GB | $29.39（約¥4,409） | $18.52（約¥2,778） |
| a3-highgpu-8g | H100 x8 | 640 GB | $98.32（約¥14,748） | $61.95（約¥9,293） |
| a3-ultragpu-8g | H200 x8 | 1,128 GB | $117.60（約¥17,640） | $74.09（約¥11,114） |
| g2-standard-4 | L4 x1 | 24 GB | $0.72（約¥108） | $0.45（約¥68） |
| TPU v5p（8チップ） | TPU v5p x8 | 768 GB HBM | $33.60（約¥5,040） | $21.17（約¥3,176） |
| TPU v6e（8チップ） | TPU v6e x8 | 256 GB HBM | $25.60（約¥3,840） | $16.13（約¥2,420） |
出典：Google Cloud GPU 料金（2026年6月時点）
Azure（Microsoft Azure）
Azure GPU VMはOpenAIとの戦略的パートナーシップにより、Azure上でのAI訓練エコシステムが充実しています。
| VMサイズ | GPU | VRAM | オンデマンド/時 | 1年予約/時 |
|---|---|---|---|---|
| ND96asr_v4 | A100 x8 | 320 GB | $27.20（約¥4,080） | $16.59（約¥2,489） |
| ND96isr_H100_v5 | H100 x8 | 640 GB | $98.32（約¥14,748） | $59.98（約¥8,997） |
| ND96_H200_v5 | H200 x8 | 1,128 GB | $118.00（約¥17,700） | $71.98（約¥10,797） |
| NC24ads_A10_v4 | A10 x1 | 24 GB | $2.20（約¥330） | $1.34（約¥201） |
出典：Azure VM 料金（2026年6月時点）
代替クラウドGPUサービス
大手3社以外にも、コスト効率に優れた代替サービスが急成長しています。特に短期的な訓練やファインチューニングでは、これらのサービスが大幅なコスト削減を実現します。なお、これらの料金は GPU 世代交代や需給で短期間に変動するため（2026年は新世代の供給増で H100 系が全体的に値下がり）、契約前に必ず各社公式の最新料金を確認してください。
① Vast.ai
個人GPU提供者のマーケットプレイス。新世代の供給増で価格が一段下がり、H100が$0.70〜$1.60/時（約¥105〜240）前後と大手の80%オフ水準。可用性は不安定だが、短期バッチ訓練に最適。
② RunPod
サーバーレスGPU推論＋訓練プラットフォーム。H100がCommunity Cloudで$2.69/時（約¥404）前後（Secureは$3.29前後）。テンプレート環境で素早くセットアップ可能。
③ Lambda Labs
AI特化クラウド。H100 x8ノードが$24.00/時（約¥3,600）。PyTorch/JAXがプリインストールされ、ML研究者向けのUXが優秀。
④ CoreWeave
GPU ネイティブクラウド。H100が$4.25/時（約¥638）。InfiniBandネットワーク標準装備で、マルチノード分散訓練の性能が高い。
⚠️ クラウドGPU利用時の注意点
- スポット/プリエンプティブルインスタンスの中断リスク: チェックポイント保存を必ず実装すること
- データ転送コスト: 大規模データセットのアップロード/ダウンロードに別途料金が発生（特にAWSのEgress料金に注意）
- リージョン制約: 最新GPUは特定リージョンにしか配置されていない場合がある
- 長期契約の罠: 1〜3年のリザーブド契約は割安だが、GPU世代交代時に陳腐化リスクがある
オンプレミス GPU — 自社購入のコストと判断基準【2026年版】
筆者の実感として、オンプレミスは本当に継続して GPU を使う場合に検討に値する選択肢です。特に LLM を日常的に使う場面が増えた今、クラウドサービスで提供されるモデルより多少性能は落ちても、ある意味「定額で使い放題」になるのは大きな価値があります。API 従量課金のコストを気にせず、社内の開発者が自由に LLM を試せる環境は、チーム全体の AI 活用を加速させます。
データセンター向けGPUスペック比較
| GPU | VRAM | FP16性能 | FP8性能 | TDP | インターコネクト |
|---|---|---|---|---|---|
| NVIDIA H100 SXM | 80 GB HBM3 | 989 TFLOPS | 1,979 TFLOPS | 700W | NVLink 4.0（900 GB/s） |
| NVIDIA H200 SXM | 141 GB HBM3e | 989 TFLOPS | 1,979 TFLOPS | 700W | NVLink 4.0（900 GB/s） |
| NVIDIA B200 SXM | 192 GB HBM3e | 2,250 TFLOPS | 4,500 TFLOPS | 1,000W | NVLink 5.0（1,800 GB/s） |
出典：NVIDIA Data Center（2026年6月時点）
📌 2026年後半の最新動向
2026年半ば時点の最上位は、上表の B200 ではなく Blackwell Ultra（B300 / GB300）です。HBM3e を 192GB → 288GB へ拡大し、推論ワークロードでは H100 比で大幅なコスト効率を実現します。さらに次世代アーキテクチャ Vera Rubin が2026年後半にパートナー提供を開始予定で、GB200/B200 はすでに「1世代前」の位置づけに移りつつあります。最新世代の投入で H100 の中古価格は半値以下まで下落しており、コスト重視なら今が H100 の買い時です。
購入コストの目安
| 構成 | GPU単体価格 | 8GPU サーバー構成 | 年間電力費目安 |
|---|---|---|---|
| H100 SXM | 中古$18,000〜／新品$25,000〜（約¥2,700,000〜） | $250,000（約¥37,500,000） | $36,800（約¥5,520,000） |
| H200 SXM | $28,000（約¥4,200,000） | $380,000（約¥57,000,000） | $36,800（約¥5,520,000） |
| B200 SXM | $40,000（約¥6,000,000） | $520,000（約¥78,000,000） | $52,600（約¥7,890,000） |
出典：NVIDIA 公式、各販売代理店価格（2026年6月時点）
※ サーバー構成にはCPU、メモリ、NVSwitch、ネットワーク、筐体を含む。年間電力費は電気代 $0.10/kWh、稼働率80%で算出。
オンプレミスが有利になる条件
① 月額GPU費用 $15,000 以上
クラウドの月額費用が$15,000（約¥2,250,000）を超える場合、H100サーバーの投資回収は約18ヶ月。それ以降はランニングコストのみで運用可能。
② 24時間365日稼働
常時訓練・推論を回し続ける場合、クラウドの従量課金は急速に膨らむ。GPU稼働率70%以上ならオンプレが圧倒的に有利。
③ データ主権・規制要件
医療・金融・政府系のデータはクラウドに置けない場合がある。オンプレミスなら完全な物理的管理が可能。
④ 複数チームでの共有
社内の複数チームがGPUリソースを共有する場合、Slurm や Kubernetes でスケジューリングすれば利用効率を最大化できる。
エッジ AI — ローカル推論・開発向け【2026年版】
大規模訓練はクラウドやオンプレに任せるとして、ローカル環境での推論実行・小規模ファインチューニング・プロトタイプ開発には、エッジデバイスが急速に実用性を増しています。
| デバイス | AI性能 | メモリ | 消費電力 | 価格帯 |
|---|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 67 TOPS | 8 GB | 25W | $249（約¥37,350） |
| NVIDIA Jetson AGX Orin 64GB | 275 TOPS | 64 GB | 60W | $1,999（約¥299,850） |
| NVIDIA Jetson AGX Thor | 2,070 TOPS（FP4） | 128 GB | 最大130W | $3,499（約¥524,850） |
| Apple Mac Studio（M3 Ultra） | — | 最大512 GB 統合メモリ | 〜295W | $3,999〜（約¥599,850〜） |
| Raspberry Pi AI Kit | 13 TOPS | 8 GB | 5〜15W | $70（約¥10,500） |
出典：NVIDIA Jetson、Apple、Intel（2026年6月時点）
🏆 注目 ― Mac Studioの統合メモリ
Apple M3 Ultra（現行 Mac Studio の最上位）の最大512GB統合メモリは、70Bパラメータ級のLLMをローカルで推論実行できるレベルです。VRAM制約のあるNVIDIA GPUに対して、大容量モデルのローカル推論では独自の優位性を持ちます。llama.cppやMLXフレームワークとの組み合わせで、開発・テスト用途において非常に実用的な環境が構築できます。なお512GB構成は2026年にメモリ高騰で一時的に提供終了しており、次世代の M5 Ultra 搭載モデルが2026年秋に登場予定です。
個人開発者向け GPU の選び方
予算に限りのある個人開発者やスタートアップにとって、GPU選びはプロジェクトの成否を左右する重要な判断です。ここでは、用途別に最適なGPUとクラウドオプションを整理します。
予算別ローカルGPU推奨
| 予算帯 | 推奨GPU | VRAM | 価格帯 | 主な用途 |
|---|---|---|---|---|
| 〜$300 | RTX 4060 Ti 16GB | 16 GB | $280（約¥42,000） | 7Bモデルの推論・小規模LoRA |
| 〜$700 | RTX 4070 Ti SUPER | 16 GB | $650（約¥97,500） | 13Bモデル推論・画像生成訓練 |
| 〜$1,300 | RTX 5080 | 16 GB | $999（約¥149,850） | 高速推論・中規模ファインチューニング |
| 〜$2,200 | RTX 5090 | 32 GB | MSRP $1,999／実売$3,500〜（約¥299,850／¥525,000〜） | 30Bモデルの推論・本格的な訓練 |
| 〜$7,000 | RTX 6000 Ada | 48 GB | $6,800（約¥1,020,000） | 70Bモデルの量子化推論・大規模訓練 |
出典：各メーカー公式サイト・販売サイト価格（2026年6月時点）
ファインチューニング用途別GPU要件
| タスク | 必要VRAM | 推奨GPU（ローカル） | 推奨クラウド | クラウド費用目安/時 |
|---|---|---|---|---|
| 7B LoRA ファインチューニング | 12〜16 GB | RTX 4060 Ti 16GB | L4 x1 | $0.72（約¥108） |
| 13B LoRA ファインチューニング | 24 GB | RTX 6000 Ada | A10G x1 | $1.21（約¥182） |
| 70B QLoRA ファインチューニング | 48〜80 GB | A100 80GB（中古） | A100 x1 | $3.67（約¥551） |
| 70B フルファインチューニング | 320 GB+ | —（クラウド推奨） | H100 x8 | $24.00（約¥3,600） |
| Stable Diffusion 学習 | 12〜24 GB | RTX 5080 / 5090 | L4 x1 | $0.72（約¥108） |
出典：筆者検証およびコミュニティ報告（2026年6月時点）
関連記事
GPU AI 訓練の周辺知識として、以下の記事もあわせてご覧ください。
よくある質問（FAQ）
まとめ — GPU AI 訓練のインフラ戦略
筆者の結論 — GPU AI 訓練は「クラウド＋オンプレ」のハイブリッドが最適解
スポット利用やバースト訓練はクラウドが圧倒的にコスパが良い。一方、LLM を日常的にチームで使うなら、オンプレミスの「定額で使い放題」は見逃せない価値です。筆者自身、この組み合わせでコストを抑えつつ AI 活用を加速させてきました。
2026年は B200 の登場で H100 が大幅値下がりし、どの選択肢もこれまでで最もコスパの良いタイミングです。まずはクラウドで小さく始め、使用頻度が上がったらオンプレミスの導入を検討してみてください。
著者
krona23
IT業界20年以上の実務経験を持ち、日本国内有数のPVを誇る大規模Webサービスで事業部長・CTOを複数社で歴任。Windows/iOS/Android/Webと技術の変遷を経験し、現在はAIネイティブへの変革に注力。DevGENTでは、AIコードエディタ・自動化ツール・LLMの実践的な使い方を日英西3言語で発信中。
コメントを残す