流暢な返答は、考えた証拠ではありません。LLM の中核は次トークン予測であり、会話や推論に見える動きは、自己回帰のループ、サンプリング、事前学習のあとに足された指示調整が重なった結果です。
📑目次
現場では、自信たっぷりの口調や手順らしい箇条書きを、検証済みの結論と誤認しやすいです。
実務で確認すること
以下では公式一次を次の3件に分け、独立解説で裏取りしたうえで、誤認しない確認手順に落とします。
- Attention Is All You Need の Transformer
- InstructGPT の SFT / RLHF
- Hugging Face の GenerationConfig
読者の次アクションは次です。直近の LLM 出力 1 件で、製品または API の生成設定を開き、do_sample / temperature / top_p を記録したうえで、流暢さと思考を分ける 6 項チェックリストを通します。出力を次トークン連鎖として読み直し、サンプリングか greedy かを確認し、再現が必要なら温度を下げ、SFT / RLHF による指示追従を理解の証明と分け、事実と引用はモデル外で照合し、合格条件は外部に置きます。
次トークン予測は理解ではなく確率の連鎖である
生成の基本動作は、「次に置くトークン」の確率分布から1つを選択することです。意味理解や真偽判定を別モジュールとして並行して動かしているわけではありません。
生成ループの分解
Grune と Speculative Chic は、このループを次のように分解します。
- 入力をトークンに分ける
- 各トークンを埋め込みベクトルにする
- 自己注意で系列内の他トークンを見る
- 次トークンの確率を出す
- 選んだトークンを入力へ足し、同じ計算を繰り返す
学習と見え方
School of Web は、学習を「大規模テキストの一部を隠して次を当てる」作業だと説明します。知識に見えるものも、多くは共起の統計です。会話に見えるのは、この自己回帰を高速に回した結果です。
Mahdi Naser Moghadasi の例は分かりやすいです。“The capital of France is” の次に “Paris” が来る補完は、質問応答や思考に見えます。中身は、その続きとして高確率なトークンを置いているだけです。
実務で確認すること
独立ブログの比喩は公式の損失関数定義ではありません。技術視点では、以下の点を明確に区別する必要があります。
- 公式一次は Transformer 論文と InstructGPT 抄録に留める
- 解説は仕組みの読み方として使う
- 「分かっているように読める」ことと「検証済みである」ことは別判定にする
Transformerは並列注意で長文脈を扱える
2017 年の Transformer が、逐次 RNN ではなく全系列への注意で、次トークン計算を実用化しました。
公式論文の数字
Vaswani et al., Attention Is All You Need（arXiv:1706.03762） の抄録が示す数字は次のとおりです。
- attention のみ。recurrence と convolution を使わない
- WMT 2014 英独で 28.4 BLEU。当時の最良アンサンブルより 2 BLEU 超
- WMT 2014 英仏で単一モデル 41.8 BLEU。8 GPU で 3.5 日
並列注意の読み方
GruneとSpeculative Chicは、この論文をChatGPT級モデルの中核とし、decoder側の「1語予測→追記→再予測」の仕組みを説明しています。文脈を並列に見られることは、理解の証明ではありません。次トークンの条件付き確率を安定的に計算する装置です。
BLEU の使い方は次のとおりです。
- 機械翻訳ベンチの点数である
- 自社チャットの正確さや、社内ドキュメント回答の合格判定には使わない
- 論文が示したのは「注意だけで翻訳品質を上げられた」ことであり、「思考エンジンになった」ことではない
事前学習だけではアシスタントにならない
次トークンの事前学習は、続きを書く作業です。指示に答える形は、別目的の教師あり fine-tune（SFT）と RLHF が足された結果です。
InstructGPT が足した2段
Ouyang et al., InstructGPT（arXiv:2203.02155） は、モデルを大きくしてもユーザー意図への追従は自動では良くならない、と抄録で述べます。公式手順は次の 2 段です。
- 望ましい振る舞いの実演で教師あり fine-tune する
- 出力の人間順位で RLHF する
人間評価の要点は次のとおりです。
- 13 億パラメータの InstructGPT が 1750 億パラメータの GPT-3 より好まれた
- パラメータは約 1/100 である
- 真実性は改善し、毒性出力は減った
- 簡単な誤りは残ると抄録は書いている
事前学習だけの失敗モード
Harys Dalvi は、事前学習だけだと “Write an article about…” を命令ではなく続きの文として伸ばす、と説明します。instruction finetuning のあと RLHF が入り、その損失は next-token とは別です。
「丁寧に答える」見た目は alignment の成果であり、思考エンジン化の証拠ではありません。この数字は 2022 年の GPT-3 系人間評価です。2026 年の各社製品の内部手順を、そのまま述べる根拠にはしません。
実務で確認すること
指示に従う見た目を過信すると、モデルは自信のある誤答を出し続けます。棄権や外部検証の設計は、LLMが「わからない」と言えない構造と、実務で封じるプロンプト／検証設計 で別に整理しています。
同じ質問で答えが変わるのはサンプリングである
毎回異なる返答が出るのは、「考えを改めた」からではなく、確率分布からの抽選と温度・切断パラメータの影響であるケースがほとんどです。
Hugging Face の既定値
Hugging Face Transformers の GenerationConfig と generation strategies（v4.46.3） は、未設定時の既定を次のように置きます。
| 設定 | 既定（未設定時） | 現場での意味 |
|---|---|---|
| do_sample | False（greedy） | 最大確率トークンだけ。短文向き、長文で繰り返しやすい |
| num_beams | 1 | 1 超でビーム探索。系列全体の高確率仮説を残す |
| temperature | 1.0 | 次トークン確率の鋭さ。下げると堅実、上げると多様 |
| top_k | 50 | 上位 k だけ残す |
| top_p | 1.0 | 1 未満なら累積確率 top_p の最小集合だけ残す |
| max_new_tokens | （要指定） | プロンプトを除く生成長。max_length よりこちらを推奨 |
出典：Hugging Face GenerationConfig、generation strategies v4.46.3（2026年8月時点）
温度と幻覚の関係
Qiita の Sakai_path と School of Web は、サンプリングを次のように整理します。
- Softmax 後の分布からサンプリングする
- greedy は単調で、温度を上げすぎると破綻する
- 事実判定モジュールが無いので、もっともらしい語を繋いで幻覚が起きる
再現したい作業では、製品や API の do_sample / temperature / top_p を先に確認します。温度を下げるか greedy に寄せ、事実確認はモデル外で行います。温度を 0 にしても、高確率の誤りは残ります。
思考に見える出力を現場で切る確認手順
流暢さ、手順っぽさ、自信のある口調は、検証済みの結論ではありません。テクノロジー運用では、見え方と中身を表で分けてから、直近の LLM 出力 1 件に現場手順を通します。
現場で通す手順
直近の LLM 出力 1 件で、製品または API の生成設定を開き、次をこの順で通します。
- 生成設定を開き、
do_sample/temperature/top_pを記録する - 出力を思考ではなく次トークン連鎖として読み直す
- サンプリングか greedy かを確認する。再現が必要なら温度を下げる
- 指示追従（SFT / RLHF）を理解の証明と分ける
- 事実・数値・引用は一次資料または実行結果で照合する
- モデルに自己採点させず、合格条件は外部に置く
この 6 項が、流暢さと思考を分けるチェックリストです。
見え方と中身の対応表
| 見え方 | 中身として多いもの | 先に確認すること |
|---|---|---|
| 会話している | 自己回帰で次トークンを足している | 出力を入力へ戻すループ以外の検索・実行があるか |
| 考えている | 次トークン予測の規模化＋事後学習 | 真偽を別モジュールが判定しているか（通常ない） |
| 指示に従う | SFT / RLHF など next-token 以外の目的 | 事前学習済みベースか、指示調整済み製品か |
| 毎回少し違う | temperature / top-p / サンプリング | do_sample と温度。greedy ならほぼ固定 |
| 自信がある | 高確率トークンの連鎖 | 外部ソース照合、再現手順、失敗条件 |
出典：上表は Transformer / InstructGPT / Hugging Face 公式と、Grune・Dalvi・Mahdi・School of Web・Qiita の独立解説を突き合わせた運用整理（2026年8月時点）
直近出力へのチェックリスト
チェックリスト（直近の LLM 出力 1 件に通す）:
- 今回の出力を「思考」ではなく「次トークン連鎖」として読み直した
- 使っている API / UI の do_sample・temperature・top_p を確認した
- 再現が必要なら温度を下げ、または greedy に寄せた
- 指示に従う見た目を、SFT / RLHF の成果と次トークン理解の証明に分けた
- 事実・数値・引用はモデル外（一次資料・実行結果）で照合した
- モデルに自己採点させず、合格条件を外部に置いた
chain-of-thought表示がある製品でも、表示されているテキスト自体は生成されたトークンです。内部に意識や接地が存在するという前提で運用してはいけません。
エージェントを運用する場合は、指示・ガード・検証を明確に分離したハーネスを最初に構築してください。
よくある質問
Q1. 次トークン予測なら、なぜ翻訳や数学までできるのですか。
公式 Transformer は翻訳ベンチで 28.4 / 41.8 BLEU を出しています。Mahdi の論考は、同じ目的を大規模化した emergent な見え方だと整理します。できることと「考えている」ことは別判定です。
Q2. モデルを大きくすれば思考になりますか。
InstructGPT の抄録は、大きくしても意図追従は自動では良くならないと書きます。13 億パラメータの指示調整モデルが 1750 億パラメータより好まれる例があります。規模と alignment を分けて見てください。
Q3. temperature を 0 にすれば嘘は消えますか。
消えません。温度は分布の鋭さであり、真偽判定ではありません。greedy でも高確率の誤りは残ります。School of Web は、事実判定が無いと幻覚が起きると整理します。
Q4. ChatGPT のような製品は次トークンだけですか。
事前学習の中核は次トークンです。製品のアシスタントらしさは SFT / RLHF 等の後段が足されている、というのが InstructGPT と Dalvi 解説の一致点です。各社 2026 年の内部手順は、公開範囲を超えて断定しません。
Q5. 現場で最初に何をすればよいですか。
直近の LLM 出力 1 件で、製品または API の生成設定を開き、do_sample / temperature / top_p を記録します。そのうえで、流暢さと思考を分ける 6 項チェックリストを通してください。出力を次トークン連鎖として読み直し、サンプリングか greedy かを確認し、再現が必要なら温度を下げ、SFT / RLHF を理解の証明と分け、事実と引用はモデル外で照合し、合格条件は外部に置きます。
まとめ
- 次トークン予測は理解モジュールではない。流暢さは確率連鎖の見え方である
- Transformer は並列注意でその計算を実用化した。BLEU は翻訳ベンチであり、思考の証明ではない
- アシスタントらしさは SFT / RLHF の後段である。事前学習だけの autocomplete とは目的が違う
- 答えの揺らぎは、サンプリング設定で説明できることが多い
- 次アクション: 直近の LLM 出力 1 件で、製品または API の生成設定を開き、
do_sample/temperature/top_pを記録したうえで、流暢さと思考を分ける 6 項チェックリストを通す。出力を次トークン連鎖として読み直し、サンプリングか greedy かを確認し、再現が必要なら温度を下げ、SFT / RLHF を理解の証明と分け、事実と引用はモデル外で照合し、合格条件は外部に置く
著者
krona23
IT業界20年以上の実務経験を持ち、日本国内有数のPVを誇る大規模Webサービスで事業部長・CTOを複数社で歴任。Windows/iOS/Android/Webと技術の変遷を経験し、現在はAIネイティブへの変革に注力。DevGENTでは、AIコードエディタ・自動化ツール・LLMの実践的な使い方を日英西3言語で発信中。
コメントを残す