8GBのGPUで35BクラスのMixture-of-Experts（MoE）を動かしたいという話は、VRAM不足を単純に解消する話ではありません。有効パラメータだけをGPU側に載せ、専門家プール全体はホストRAMに残すという前提での技術判断です。VRAM容量だけを見て導入すると、起動はできても初回プリフィルやエージェント再計算で止まる可能性があります。
📑目次
FreeToken は、UC Berkeley / UT Austin の研究として公開されたエッジ向けMoE実行環境です。
- 論文: arXiv 2608.16157
- 配布: flashml.ai と Apache-2.0 の GitHub
- 発見のきっかけ: PC Watch の報道。採用判断の根拠には使いません
次に取る作業は、DesktopかLinux CLIのどちらかに1本に絞り、合格線（tok/sとTTFT）を具体的な数値で書いてから、公式経路で1往復して進めるか見送るかを判断することです。比較表、導入経路、公開速度の情報、チェックリストは、その判断材料となります。
公開数字を自機の合否に翻訳する前に見る比較表
公開資料の数字は著者環境での測定値です。自機の実測値ではありません。テクノロジー観点で条件の違いを整理し、自分で合格線を書いてから導入を決めます。
条件別の公開数字
| 条件 | 公開されている数字 | 読者が先に確認すること | 出典 |
|---|---|---|---|
| 8GB ノートGPU | Qwen3.6-35B-A3B NVFP4 39.3 tok/s（論文は Codex 本番トレース中央値 33 tok/s を超えると書く） | 量子化は NVFP4 か。空きホストRAMは足りるか | arXiv 2608.16157 |
| 32GB ゲーミングGPU | DeepSeek-V4-Flash 284B 22–25 tok/s | 有効パラメータは約13Bでも、専門家プール全体はホスト側 | 同上 / MarkTechPost |
| ワークステーション1枚 | GLM-5.2 753B（有効40B）14.9 tok/s、llama.cpp 7.3 | 論文著者環境。自機では別測定 | AI Daily Post |
5090と導入経路の公開数字
| 条件 | 公開されている数字 | 読者が先に確認すること | 出典 |
|---|---|---|---|
| RTX 5090 | Qwen3.6-35B-A3B 77–83 tok/s | 論文値。Dataconomy は第三者再測定が未確定と注記 | Dataconomy |
| 導入経路 | Desktop は flashml.ai。CLI は uv pip install "freetoken[accel]"。ft serve は 127.0.0.1:1919 |
OS は x86_64 の Windows/Linux。macOS/AMD は Roadmap | install.md / FAQ #84 |
出典
この記事の時点は2026年8月です。
表の読み方
表の読み方は単純です。8GBで35Bという見出しはNVFP4と著者環境に紐づきます。bf16の同じモデルは公式FAQが空きホストRAM約70GBを前提としています。753Bの公開例はワークステーションGPU向けです。ノートの8GBで753Bを試す話ではありません。
VRAM容量だけでは判断できない理由
MoEは1トークンあたりの計算を減らします。専門家プール全体のメモリは減りません。8GB VRAMに35Bが「載る」のは、有効専門家だけをGPUキャッシュに置く設計だからです。
有効パラメータとホストRAM
論文が例に出す DeepSeek-V4-Flash は、各層256専門家のうち6を有効化します（43層）。有効は284B中13Bです。RTX 5090 32GBには有効分は載りますが、全プールはホスト側に残ります。公式 FAQ も同じ前提です。
- 専門家はホストRAMに置く
- Qwen3.6-35B-A3B の bf16 は空きRAM 約70GB
- NVFP4 はそれより小さい
プリフィルと帯域分割
プリフィルは別の負荷です。経路の和集合で専門家集合がほぼ密になります。MarkTechPost の再掲は次です。
- RTX 5090: 約2秒
- PCIe 4.0 デスクトップ: 約5秒
- ノートの x8: 10秒超
デコード欠落は q* で PCIe 充填と CPU 計算に分割します。ロード時に層を固定配置する方式ではありません。実測の帯域比 B_P:B_H は次です。
- RTX 5090: 52.7:77.3
- 4060 ノート: 11.8:47.5
エージェント境界と論文比較
エージェント利用では、境界にチェックポイントを置く設計が論文の主張です。最悪の TTFT は44秒未満です。論文比較の対象は次です。
- llama.cpp: 232秒
- Ollama: 179秒
- KTransformers: 946秒
これは論文比較です。コミュニティ側には RTX 5060 8GB で llama.cpp 34.9 tok/s という反論測定もあります。速度は著者環境の論文値であり、同一条件の第三者再測定はまだ薄い、と Dataconomy も書いています。
読者が先に書くべきなのは、空きホストRAM、PCIe世代、量子化（NVFP4/MXFP4/BF16）です。VRAM容量だけを採用理由にしないというのが、この技術判断の本質です。
テクノロジー判断として導入経路を1本に決める
試すならDesktopかLinux CLIのどちらで検証するかを先に固定します。両方を同時に本番環境として扱うことはありません。
公式ドキュメントでの導入手順
- 要件を確認する。対象は x86_64、NVIDIA Ampere（RTX 30）以上、ドライバ r580+（CUDA 13）です。Windows/Linux は Desktop。Linux CLI は pip / uv。macOS、AMD、DGX Spark（aarch64）は Roadmap です。
- Desktop なら flashml.ai から Windows/Linux を入れます。README は、この経路ではソースビルドは不要と書きます。
- CLI なら仮想環境を切ったあと、公式の加速パッケージを入れます。初回は CUDA 13 の
nvccが PATH に必要です（カーネル JIT）。
uv venv && source .venv/bin/activate
uv pip install "freetoken[accel]"
ft --version
- 検証は
ft serve --model ~/path/to/Qwen3.6-35B-A3Bです。Hugging Face の repo id も使えます。ログがAPI server is ready to serve on 127.0.0.1:1919になるまで待ちます。 curl http://127.0.0.1:1919/v1/modelsで id を確認し、OpenAI 互換の/v1/chat/completionsか Anthropic 互換の/v1/messagesで1往復します。- コーディングエージェントを繋ぐなら
ft launch claudeです。対象例は claude / codex / dsh / hermes / openclaw / opencode。先に--dry-runで差分を見ます。 - 帯域分割を使うなら
ft bench bwを1回走らせます。ft serve --moe-backend autoは dense=fused、MoE=offload、プロファイルがあれば hybrid です。
制限と見送り条件
制限も公式側にあります。GGUF は当面 Gemma-4 のみ。マルチモーダルはテキストのみ。1080 / 2080 世代は公式対象外で、コミュニティ issue でもカーネル非対応が指摘されています。Dataconomy 時点の PyPI は freetoken v0.1.2 です。
macOS だけ、または 16GB 級のホストRAMしか無いなら、今は見送る判断になります。Linux または Windows で RTX 30 以上があり、ホストRAMに専門家が載る見込みがあるときだけ、検証枠を取ります。
公開速度を自機の合格線に翻訳する
論文のtok/sは採用理由にはなりません。同じ量子化、同じコンテキスト、同じエージェント負荷で測定できるかどうかが合否の基準です。
公開値の再掲
公開値を再掲します。
- 8GB RTX 4060 ノート: NVFP4 35B が 39.3 tok/s。論文は Codex 本番トレース中央値 33 tok/s を超える、と書きます。
- RTX 5090: Qwen3.6-35B-A3B BF16 が 77–83 tok/s、DeepSeek-V4-Flash MXFP4 が 22–25 tok/s。デコードは単発比 12% 以内、と論文比較にあります。
- RTX PRO 6000: GLM-5.2 753B（有効40B）が 14.9 tok/s、llama.cpp は 7.3 です。
- PC Watch が引用する著者投稿: Ollama 比でデコード 3–4倍、プリフィル 6–30倍です。
- 独立分析の winkrun: Ollama 比 2–4倍。同時に RTX 5060 8GB の llama.cpp 34.9 tok/s というコミュニティ反論も残しています。
対応形式と合格線
対応例は DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2。形式は MXFP4 / NVFP4 / FP8 / BF16。ライセンスは Apache-2.0 です。比較対象の設定（量子化、コンテキスト、エージェント再プリフィル）が揃っていない引用が混ざるので、自機では ft bench bw と1本の固定プロンプトを残します。
合格線は先に数値で書きます。例は「対話 20 tok/s 以上」「エージェント TTFT 60秒未満」です。論文の 39.3 をそのまま目標にはしません。ローカル実行そのものの可否は、オープン重みを自前で持つか API に残すかの選定と重ねて判断します。
導入前チェックリスト
ブックマーク数や「8GBで35B」という見出しではなく、OS・GPU世代・ホストRAM・量子化・測定方法で判断します。
- OS は x86_64 の Windows または Linux か。macOS なら公式対象外
- GPU は RTX 30 / 40 / 50 か。ドライバは r580+（CUDA 13）か
- 空きホストRAM は専門家プールを載せるか。bf16 35B なら約70GB。足りなければ NVFP4 / MXFP4 の実サイズを先に確認する
- 使う量子化とチェックポイント（例:
nvidia/Qwen3.6-35B-A3B-NVFP4）を1つに固定したか - 検証経路は Desktop か
ft serveか。両方を同時に本番にしない - 合格線（tok/s と TTFT）を数値で書いたか。論文の 39.3 をそのまま目標にしない
- エージェントを繋ぐなら、ツール呼び出し後の再プリフィルを測る。単発チャットだけを採用根拠にしない
- 社内コードを載せるなら、ローカル完結と API 互換エンドポイントのログ範囲を先に決める
見送り条件は明確です。macOS / AMD のみ、ホストRAM不足、CUDA 13 を入れられない、合格線を書けない、第三者再測定が揃うまで待ちたい、のいずれかなら今回は止めます。
次に取る作業は5つです。
- 公式要件を1枚に写す
- 量子化を1つ選ぶ
ft --versionと 1919 の1往復- 固定プロンプトで tok/s と TTFT を記録する
- 合格線未満なら llama.cpp / Ollama と比較する
エージェント接続まで進めるなら、ローカルモデルをどのハーネスに載せるかの選定も別途必要です。
よくある質問
8GB VRAMならどの35Bでも速く動きますか
いいえ。論文の 39.3 tok/s は NVFP4 の Qwen3.6-35B-A3B と著者環境です。bf16 はホストRAM 約70GBが前提です。モデル名のパラメータ数だけを見ないでください。
llama.cpp のオフロードと同じですか
違います。論文は、llama.cpp をロード時の静的配置、FreeToken をトークンごとの LRU と帯域分割、と対比します。同じ 8GB でも、コミュニティ側の llama.cpp 測定（RTX 5060 で 34.9 tok/s）と論文値は条件が揃っていません。
macOS や AMD で公式に使えますか
2026年8月25日時点の公式 FAQ では不可です。Roadmap です。今すぐ試す対象ではありません。
コーディングエージェントにはどう繋ぎますか
ft serve の OpenAI / Anthropic 互換 API です。ft launch claude が provider 設定を書きます。先に --dry-run で差分を確認します。単発チャットの tok/s だけでは、ツール呼び出し後の再プリフィルを評価できません。
753B をノートPCで試すべきですか
試すべきではありません。論文の 753B はワークステーションGPU（RTX PRO 6000）の話です。8GB ノートの公開例は35Bです。
話題になっていること自体は採用理由になりますか
なりません。注目度は発見のきっかけだけです。採用は公式要件、ホストRAM、自機測定の3点です。
まとめ
テクノロジー判断の本体は「8GBで35Bが速い」ではありません。ホストRAMと帯域を前提にした公式経路で、自機の合格線を満たすかどうかです。論文値と独立報道は照合材料であり、自機の実測の代用ではありません。第三者再測定、コミュニティ側の llama.cpp 反論、v0.1.2 時点の対応モデル差は残ります。
次の作業は次の順です。
- OS / GPU / RAM を公式 FAQ と照合する
- Desktop か CLI を1本化する
- 量子化を固定する
- 1919 で1往復する
- tok/s と TTFT を記録して進めるか見送る
合格線を書けないなら、今回は導入しません。
著者
krona23
IT業界20年以上の実務経験を持ち、日本国内有数のPVを誇る大規模Webサービスで事業部長・CTOを複数社で歴任。Windows/iOS/Android/Webと技術の変遷を経験し、現在はAIネイティブへの変革に注力。DevGENTでは、AIコードエディタ・自動化ツール・LLMの実践的な使い方を日英西3言語で発信中。
コメントを残す