第6章

生成AI — 「判別する」から「作り出す」へ

ChatGPT、画像生成、動画生成、コード生成…2022年以降のAIブームの主役は 生成AI です。 これまで学んだディープラーニングを土台に、何が新しくて、どう動いているのかを整理します。

この章の全体像

1

識別 vs 生成 — タスクの違い

識別AIは「入力 → 既知の答え」、生成AIは「入力 → 新しいデータ」。 同じディープラーニング技術が、別の目的で使われる。

↓
2

4つの主要技術

GAN・VAE・Diffusion・Transformer(LLM)。それぞれ違う発想で「作り出す」を実現する。

↓
3

社会への浸透

2022年ChatGPT登場以降、急速に普及。テキスト・画像・音声・動画・コードあらゆるものを生成できる時代に。

💡 核心： 生成AIは 新技術ではなく、ディープラーニングの「タスクの拡張」。 これまで学んだMLP・CNN・Transformer・誤差逆伝播法・損失関数 — 全部が、生成タスクにも使われる。

1. 識別AI vs 生成AI — 数学的な違い

第2章 でも軽く触れた区別を、数学的に明確にしましょう。

1.1 タスクの違い

タイプ 何をする 出力
識別AI（Discriminative） 与えられたデータを判別 既知のカテゴリ・数値
生成AI（Generative） 新しいデータを作り出す 新規の文章・画像・音声等

1.2 数式で見る違い

識別モデル：入力 $x$ が与えられたとき、答え $y$ の条件付き確率を学ぶ：

$$P(y \mid x)$$

例：「この画像 $x$ が猫である確率」「このメール $x$ がスパムである確率」

生成モデル：データの同時確率分布を学ぶ：

$$P(x) \quad \text{または} \quad P(x, y)$$

例：「猫画像の分布」を学ぶと、その分布からサンプリングして新しい猫画像を作れる。

1.3 直感で言うと

識別モデル：「これは何？」 → 答える
生成モデル：「○○の特徴を持つデータの世界」 → そこから新しいサンプルを引く

生成モデルは「データの分布そのもの」を学ぶので、その分布からランダムサンプリングすれば、本物っぽい新しいデータを作れます。これが「生成」の正体。

2. 生成AIの主要技術 — 4つのアプローチ

「データの分布を学ぶ」というのは難しい問題で、これまでにいくつかの解法が発明されてきました。

2.1 GAN（Generative Adversarial Network、敵対的生成ネットワーク）

🧠 アーキテクチャ詳細：GAN — 2014年、Goodfellow ら（クリックで展開）

⚔️ GAN — 2014年、Goodfellow ら

2つのネットワークを敵対させるという独創的なアイデア：

  • 生成器（Generator）：偽のデータを作る
  • 識別器（Discriminator）：本物か偽物かを見破る

両者を競争させると、生成器は 識別器を騙そうとして本物そっくりの画像を作るようになる。 識別器も賢くなり続けるので、結果として高品質な生成が可能になる。

得意：高品質な画像生成（StyleGAN等が「実在しない人の顔」を生成）

苦手：学習が不安定、テキスト生成には向かない

2014〜2020年の画像生成の主役。今は Diffusion に置き換わりつつあるが、依然として一部の用途では現役。

2.2 VAE（Variational Autoencoder、変分オートエンコーダ）

🧠 アーキテクチャ詳細：VAE — 2013年、Kingma & Welling（クリックで展開）

🔄 VAE — 2013年、Kingma & Welling

データを 「意味の凝縮された潜在空間」に圧縮し、復元する仕組み： 

入力データ → エンコーダ → 潜在ベクトル z → デコーダ → 復元データ
                              ↑
                  ここからランダムサンプリング → 新しいデータ

潜在空間でランダムサンプリングしてデコーダに通せば、新しいデータが生成される。

長所：数学的に美しい、潜在表現が解釈可能

短所：生成画像がやや「ぼやける」傾向

純粋な生成タスクでは GAN や Diffusion に劣るが、Stable Diffusion の内部では VAE が併用されているなど、現代でも重要な役割を果たす。

2.3 Diffusion Model（拡散モデル）

🧠 アーキテクチャ詳細：Diffusion Model — 2020年、Ho ら（クリックで展開）

✨ Diffusion Model — 2020年、Ho ら

逆方向の発想から生まれた革命的アプローチ：

  1. 学習：本物の画像にノイズを少しずつ加えていき、最終的に完全なランダムノイズにする「破壊」の過程を学ぶ
  2. 生成：完全なランダムノイズから出発し、学んだ「破壊の逆過程」を辿ってノイズを除去すると、意味のある画像が出現する

直感的に言えば 「彫刻のように、ノイズの塊から徐々に形を彫り出していく」。

得意：超高品質な画像生成、多様性の確保

苦手：生成に時間がかかる（数十〜数百ステップ必要）

Stable Diffusion、DALL-E 3、Midjourney、Imagen、Sora（動画）すべての中核。 現代の画像・動画生成の事実上の標準。

2.4 Transformer（自己回帰型）— LLM の中核

🧠 アーキテクチャ詳細：Transformer (Autoregressive) — 2017年〜（クリックで展開）

📝 Transformer (Autoregressive) — 2017年〜

第5章 で見た Transformer を、「次のトークンを予測する」形で使う。 

入力: "今日の天気は"
   ↓ 次のトークン予測
出力: "晴"
   ↓ 次のトークン予測
出力: "れ"
   ↓ 次のトークン予測
出力: "です"
   ↓ ...

これを繰り返して長い文章を組み立てる。1単語ずつ確率的に選ぶので、毎回違う文章になる（温度パラメータで多様性を制御）。

ChatGPT、Claude、Gemini、Llamaなどの大規模言語モデル（LLM）はすべてこの方式。

画像生成にも応用された Vision Transformer (ViT) や、 マルチモーダル（画像+言語）の GPT-4V、Claude 3.5 Sonnet なども Transformer ベース。

2.5 4技術の比較

技術 提案年 得意分野 代表的サービス
VAE 2013 潜在表現、構造化生成 Stable Diffusion 内部で併用
GAN 2014 高品質画像（実在しない顔等） StyleGAN、This Person Does Not Exist
Transformer 2017 テキスト生成、対話、コード ChatGPT、Claude、GitHub Copilot
Diffusion 2020 画像・動画生成 DALL-E 3、Midjourney、Sora、Stable Diffusion

3. ChatGPTの学習プロセス — 3段階の旅

「ChatGPTってどう作られているの？」 — これは 第2章 補足「直交する2軸」 で触れた話の延長です。 1つのモデルが学習段階ごとに違う象限を渡り歩くのがLLM学習の特徴。

3.1 段階1：事前学習（Pre-training）

📚 詳細：段階1 事前学習の中身（クリックで展開）

🌐 段階1: 事前学習 — インターネット規模のテキストから

インターネット上の数兆語のテキスト（書籍、ウェブサイト、論文、Wikipedia など）を読み込み、 「次のトークンを予測する」タスクを延々と学習。

ラベル付けなしのデータから学ぶので「自己教師あり学習（self-supervised）」と呼ばれる。

この段階で 言語の知識・常識・世界の事実 がモデルの重みに刻み込まれる。 ただし、まだ「役に立つ応答」は作れない。続く段階が必要。

教師なし × DL（自己教師あり）

3.2 段階2：SFT（Supervised Fine-Tuning）

📚 詳細：段階2 SFTの具体例（クリックで展開）

🎯 段階2: 微調整 — 「良い応答」を学ぶ

人間が書いた 「質問 → 良い応答」のペアを数万〜数十万件用意し、それで微調整する。

例：

  • 質問：「フランスの首都は？」 → 応答：「パリです」
  • 質問：「Pythonでフィボナッチ数列を書いて」 → 応答：（コード）

ここで 「ChatGPT風の対話形式」 が習得される。

教師あり × DL

3.3 段階3：RLHF（Reinforcement Learning from Human Feedback）

📚 詳細：段階3 RLHFで何が変わるか（クリックで展開）

🎮 段階3: 強化学習 — 「人間が好む応答」を学ぶ

モデルに複数の応答を生成させ、人間が「どれが良い応答か」を評価。 そのフィードバックを 報酬 として、強化学習でモデルを最終調整する。

これにより：

  • 有害な応答を避ける
  • ユーザーの意図に沿った応答をする
  • 事実誤認を減らす（完全には消えない）

ChatGPT、Claude、Gemini など現代のLLMはすべて何らかの形で RLHF（または改良版 DPO/Constitutional AI 等）を経ている。

強化学習 × DL

3.4 まとめ：1モデルが3象限を旅する

ChatGPTを作るのに、3つの学習タイプ全部をディープラーニングで横断している：

  1. 事前学習：教師なし × DL（自己教師あり）
  2. SFT：教師あり × DL
  3. RLHF：強化学習 × DL

4. 生成AIの応用領域

生成AIは 「データを作り出すあらゆる場面」 に応用されています。

領域 代表サービス 主な技術
テキスト ChatGPT, Claude, Gemini, Llama Transformer (LLM)
画像 DALL-E 3, Stable Diffusion, Midjourney, Imagen Diffusion + Transformer
動画 Sora (OpenAI), Runway, Veo (Google) Diffusion (時間軸付き)
音声 ElevenLabs (音声合成), MusicLM (音楽), Suno Diffusion or Transformer
コード GitHub Copilot, Claude Code, Cursor Transformer (コード特化LLM)
3D DreamFusion, Trellis, Luma AI Diffusion + 3D表現
マルチモーダル GPT-4o, Claude 3.5, Gemini 2 Transformer 拡張

あらゆる入力・出力モダリティに対応できるのが現代生成AIの特徴。 「テキストから画像」「音声から動画」「画像から3D」など、横断的な変換も可能。

5. リスクと課題

強力な生成AIには、特有のリスクがあります。専門家との議論で必ず登場するトピックです（幻覚、著作権、計算資源、偽情報、アライメント、環境負荷の6点）。

📚 詳細：6つの課題を1枚ずつ（クリックで展開）
課題 1

🌫️ 幻覚（Hallucination）

LLM が 事実と異なる情報を、もっともらしく生成 してしまう現象。 存在しない論文、間違った歴史的事実など。

原因は「LLMは確率的に次の単語を予測するだけで、事実検証はしていない」から。 対策として RAG（検索拡張生成） や、推論ステップを明示させる Chain-of-Thought 等が研究されている。

課題 2

⚖️ 著作権・倫理

学習データに含まれる著作物の扱い、生成物の権利、 アーティストや著者の仕事の代替可能性など、法整備が追いついていない領域。

各国で訴訟・法改正の動きが進行中。技術と社会の対話が必要な分野。

課題 3

💸 計算資源

最先端のLLM学習には 数億〜数十億ドルの計算費用がかかる。 これは 少数の巨大企業しか参加できない市場集中の問題でもある。

オープンソース化（Llama、Mistral等）や、効率化研究（量子化、蒸留）が進む。

課題 4

📰 偽情報・悪用

リアルな 偽動画（ディープフェイク）、フェイクニュース、 なりすましなどへの悪用リスク。

ウォーターマーク、検出AI、規制などが議論されているが、いたちごっこの面もある。

課題 5

🎯 アライメント

AIを 人間の意図・価値観に沿わせる 研究。 RLHF はその一例だが、より高度なAGI（汎用人工知能）が登場した場合の制御問題は重要な未解決課題。

Anthropic、OpenAI、DeepMindなどが AI安全性研究に注力している。

課題 6

🌍 環境負荷

巨大モデルの学習・運用には 大量の電力 が必要。 データセンターの電力消費が世界的に増加している。

再生可能エネルギー、効率化、専用チップ（TPU、推論アクセラレータ）などで対策中。

6. 識別AI と 生成AI、両方が必要

最後に、識別AIと生成AIは 対立せず、互いに補完する ことを強調しておきます：

場面 識別AIが活躍 生成AIが活躍
医療 画像から病気を診断 診断レポートを自動生成
セキュリティ 不正取引の検知 セキュリティレポート作成
教育 採点・評価 学習教材の生成
製造業 不良品検出 製品設計の自動生成
将棋 NNUE / dlshogi（局面評価） LLMで棋譜解説を生成

将棋AIは現在 識別AIの世界 ですが、「LLMで棋譜を自然言語で解説する」のような生成AIとの連携も研究が進んでいます。 次の 第7章「将棋AIで全部確認」 で、これまで学んだ全概念を将棋AIで確認します。

まとめ

  1. 生成AIは「ディープラーニングのタスクの拡張」。新技術ではなく、既存技術の新しい使い方
  2. 主要4技術：GAN（敵対的）、VAE（潜在空間）、Diffusion（ノイズから逆生成）、Transformer（次トークン予測）
  3. ChatGPTの学習は 事前学習 → SFT → RLHF の3段階で、3象限を旅する
  4. 応用は テキスト・画像・動画・音声・コード・3D・マルチモーダル へ広がり続ける
  5. 課題：幻覚、著作権、計算資源、偽情報、アライメント、環境負荷
  6. 識別AIと生成AIは補完的。両方が必要

次の章

これでサイトの理論編は完結。次は すべての概念を将棋AIで確認 する集大成の章です。

→ 第7章「将棋AIで全部確認」へ進む