EPOCH › Arc 1「黎明」 › XOR問題とは — 単純パーセプトロンの限界
XOR問題とは — 単純パーセプトロンの限界
XOR（排他的論理和）は「2 つの入力のどちらか一方だけが 1 のとき 1」を返す関数。正解の点が対角に並ぶため、1 本の直線では分けられない（線形分離不可能）。入力空間に直線を 1 本引くことしかできない単層のパーセプトロンは、これを学習できない。1969 年にミンスキーとパパートが著書『Perceptrons』でこの限界を数学的に示し、ニューラルネット研究（結合主義）は長い停滞に入った。
- 単層パーセプトロン：入力に重みを掛けて足し、閾値で 0/1 を出す＝入力空間に直線（超平面）を 1 本引く分類器
- なぜ解けない：XOR は ● と × が斜めに並び、どこに直線を引いても分けられない
- どう克服したか：層を重ねる（多層パーセプトロン）。その学習法が 1986 年に広まった誤差逆伝播法
- G検定では：「単純パーセプトロンは線形分離不可能な問題を解けない」→「多層化と誤差逆伝播で克服」の流れで問われる
くわしく — 巻末解説より
パーセプトロンの数学
直感的に
入力に重みを掛けて足し、閾値を超えたら 1 を出す。これが計算点 1 個の全部だ。
重みは「その入力をどれだけ重く見るか」を表す。重みが大きい入力ほど合計への効き方が強く、 負の重みなら逆向きに効く。合計が閾値を超えるかどうかだけで、出力は 0 か 1 に決まる。
数学的に
この f はステップ関数（活性化関数の最初の形）。
後の章で、これが sigmoid → ReLU と進化していく。
図解：AND と OR を解くパーセプトロン
| x₁ | x₂ | 合計 | ≧1.5 | 出力 |
|---|---|---|---|---|
| 0 | 0 | 0 | No | 0 |
| 0 | 1 | 1 | No | 0 |
| 1 | 0 | 1 | No | 0 |
| 1 | 1 | 2 | Yes | 1 |
| x₁ | x₂ | 合計 | ≧0.5 | 出力 |
|---|---|---|---|---|
| 0 | 0 | 0 | No | 0 |
| 0 | 1 | 1 | Yes | 1 |
| 1 | 0 | 1 | Yes | 1 |
| 1 | 1 | 2 | Yes | 1 |
ここで重要なのは、パーセプトロンが幾何学的に何をしているかだ:
パーセプトロンとは、入力空間に直線（超平面）を引いて、 2つのクラスに分ける装置だ。
学習アルゴリズム
しかも、重みを自動で調整できる:
- ランダムな重みで始める
- 学習データを 1 つ入力する
- 出力が正解と違ったら、重みを少し修正する
wᵢ ← wᵢ + η · (正解 − 出力) · xᵢ - 全データで正解するまで繰り返す
η（イータ）は学習率。後の章で SGD, Adam として再登場する概念。
これが人類初の「機械学習アルゴリズム」だった。
突破... そして絶望
パーセプトロンの成果: - AND, OR, NOT を学習できた - 簡単なパターン認識（文字、図形）に成功 - 人間がルールを書かなくても、データから学ぶ ことを証明した
ここまでは素晴らしい。しかし1969年、事態は一変する。
マービン・ミンスキーとシーモア・パパートが 著書 "Perceptrons" で数学的に証明してしまった:
「パーセプトロンは XOR（排他的論理和）を解けない。」
| x₁ | x₂ | XOR |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
パーセプトロンは「直線で分けられる問題」しか解けない。 これを線形分離可能性という。
現実の問題の大半は線形分離不可能だ。 画像認識も、音声認識も、自然言語処理も。
ミンスキーの本の衝撃は絶大だった。 研究資金は凍結され、研究者はニューラルネットから離れていった。 第1次AI冬の始まりだ。
- a入力データを回転させる
- b入力空間に直線（超平面）を引いて2クラスに分離する
- cデータを圧縮する
- dランダムに分類する
答えを見る
- a記号主義
- b結合主義
- c両方
- dどちらでもない
答えを見る
- aもっと多くの学習データ
- bもっと速い計算機
- c直線を2本以上引ける仕組み（＝層を重ねる）
- d別の活性化関数