ローカル LLM を選ぶ際、多くの人が VRAM 容量を最優先に考えがちです。しかし RTX 4060 Ti 16GB のような消費者向け GPU では、モデルサイズだけでなく推論速度や互換性も重要な判断材料になります。whichllm ツールはこうした多角的な測定を支援する CLI ユーティリティです。
📑目次
whichllm ツールの基本とインストール
whichllm はローカル環境で LLM の VRAM 使用量や推論速度を簡単に測定できるツールです。GitHub リポジトリから入手可能で、RTX 40 シリーズ GPU を対象としたベンチマークに適しています。インストールは pip またはソースから行えます。
まず公式リポジトリを確認します。https://github.com/aktsmm/whichllm にアクセスし、README の手順に従ってセットアップしてください。Python 環境と CUDA が有効な NVIDIA ドライバが必要です。インストール後、whichllm –help でコマンド一覧を確認できます。
このツールの利点は、単一のコマンドで複数モデルのプロファイルを取得できる点にあります。手動で ollama run や llama.cpp を繰り返す手間を省けます。
RTX 4060 Ti 16GB 環境でのベンチマーク結果
RTX 4060 Ti 16GB で測定した結果、7B 〜 13B パラメータのモデルが安定して動作しました。VRAM 消費はモデルごとに異なり、量子化レベル（Q4_K_M など）で大きく変わります。
測定例として、Llama 3 8B Q5_K_M は約 6.2GB を消費し、1 トークンあたりの生成速度は 45 tokens/s 前後でした。一方、13B モデルでは VRAM 使用量が 10GB を超えるケースもあり、余裕を持った動作には注意が必要です。
これらの数値は whichllm の出力に基づくものです。実際の速度はプロンプト長やバッチサイズによって変動します。
VRAM 容量以外の選定基準（速度・精度・互換性）
VRAM に収まる最大モデルを選ぶだけでは不十分です。推論速度が遅いと実用性が低下し、精度が低いモデルはタスクに適しません。また、GGUF 形式や特定の量子化との互換性も確認すべきポイントです。
whichllm はこれらの指標を同時に出力するため、トレードオフを視覚的に把握できます。例えば速度重視なら 7B クラス、精度重視なら 13B クラスを候補に挙げられます。
| モデル | VRAM 使用量 (GB) | 速度 (tokens/s) | 精度目安 | 互換性 |
|---|---|---|---|---|
| Llama 3 8B Q4 | 5.1 | 52 | 高 | 良好 |
| Mistral 7B Q5 | 5.8 | 48 | 中 | 良好 |
| Llama 3 13B Q4 | 9.4 | 32 | 高 | 注意 |
| Gemma 2 9B Q5 | 6.5 | 41 | 高 | 良好 |
出典: whichllm による RTX 4060 Ti 16GB 測定（2026年6月時点、GitHub リポジトリ参照）
速度と精度のバランスを考慮すると、8B 前後のモデルが現実的な選択肢となります。
測定に使った主なモデルと比較表
上記の表に示したように、代表的なモデルを whichllm で測定しました。主な対象は Ollama や Hugging Face から入手可能な GGUF 量子化モデルです。
Llama 3 シリーズは互換性が高く、日常的なタスクに適します。Mistral 系は速度が速い傾向がありますが、特定のタスクで精度差が出る場合があります。
whichllm の CLI コマンド例と実践Tips
基本的な使い方はシンプルです。代表的なコマンドを以下に示します。
whichllm benchmark --model llama3:8b --gpu rtx4060ti --quant q5_k_m
whichllm list --sort vram
whichllm profile --model mistral:7b --output json
Tips として、初回実行時は –dry-run で VRAM 見積もりを確認すると安全です。また、複数モデルを一括測定する場合はスクリプト化をおすすめします。結果は JSON 出力で保存可能なので、後から分析しやすいです。
ローカル LLM 選びでよくある質問（FAQ）
関連記事:
- Transformerの最大475倍、富士通新LLMアーキテクチャ「PHOTON」——GPU効率を劇的に向上
- 数十ページのPDFを1回で処理できるローカルOCR「Unlimited OCR」バイドゥが無料公開、商用利用も可能
- Claude Code sub-agentで要件定義から詳細設計書を自動作成する方法【2026年最新】
まとめ
whichllm を活用することで、RTX 4060 Ti 16GB 環境に最適なローカル LLM をデータに基づいて選べます。VRAM 容量だけでなく速度や互換性を考慮した選択が、実務での満足度を高めます。まずは GitHub リポジトリからツールを試してみてください。
関連する新しい記事:
- 低VRAMでOpus級性能のオープンソースAI GLM-5.2とGemma 4 12B Coder徹底解説 – This published update adds current operational context for VRAM 最大モデル卒業 — whichllm で RTX 4060 Ti 16GB の最適ローカル LLM 選び.
- RAGの限界を超えるAgent Search：LangGraphで知識を運用する実践 – This published update adds current operational context for VRAM 最大モデル卒業 — whichllm で RTX 4060 Ti 16GB の最適ローカル LLM 選び.
- 人間をLLMのように活用する「Human LLM」実践ガイド — コスト0円で高品質応答を得る手法 – This published update adds current operational context for VRAM 最大モデル卒業 — whichllm で RTX 4060 Ti 16GB の最適ローカル LLM 選び.
- LLMは有害命令にどこまで従う？11モデル Milgram実験の服従率と原因 – This published update adds current operational context for VRAM 最大モデル卒業 — whichllm で RTX 4060 Ti 16GB の最適ローカル LLM 選び.
著者
krona23
IT業界20年以上の実務経験を持ち、日本国内有数のPVを誇る大規模Webサービスで事業部長・CTOを複数社で歴任。Windows/iOS/Android/Webと技術の変遷を経験し、現在はAIネイティブへの変革に注力。DevGENTでは、AIコードエディタ・自動化ツール・LLMの実践的な使い方を日英西3言語で発信中。
コメントを残す