この記事ではPRMLと呼ばれる機械学習の理論について書かれたバイブルとも言える参考書を僕が理解できるまでかみ砕いた記事を全てまとめたものである。
それぞれの記事では、書籍ではできない過度に冗長ともいえる文章で数学的な証明などもでき得る限り省かずに書いている。
この記事群は上から順に読んでいく必要はなく、気になったところから読んでもらえればいい。
PRMLとは？
PRML（Pattern Recognition and Machine Learning）とは、マイクロソフト社の研究者であるChristopher M. Bishop氏によって著された機械学習の世界では超有名な参考書で、上の画像のように和訳本が「パターン認識と機械学習：ベイズ理論による統計的予測」として出版されており、通称「PRML（ぷるむる）」や「黄色本」などと呼ばれている。因みに、原書は無料で読むことができる。
PRMLは機械学習の根っこである統計・確率論の理論について解説した理論書であり、プログラムを使って実際に実装するという方法を学べる実践書というわけではない。機械学習の手法がどういう理屈で成立しているのか知りたい人にとってはバイブルとなるであろう参考書。
しかしながら名著と名高い一方で「あの本は難易度が高すぎる」、「初心者が手を出すべきではない」などの難しいという声が多く、実際、難解すぎて「PRMLのための解説本」が出るほどムズイらしい。
コツコツ読んでそれをなるべくわかりやすくまとめていくので、お付き合いいただける方は是非読んでいってほしい。
第１章 序論
序論（機械学習の種類と分類）
まずはこれから
-
そもそも機械学習ってなんだ？手書き数字認識でわかる機械学習の種類と分類
昨今AIの隆盛、発展は著しく、AIや機械学習というものに興味がある人も増えていることと思う。 もうすでに組みあがったAIモデルやAIサービスを利用するのも面白いのだが、なぜAIが成り立っているのか、ど ...
続きを見る
| 対応するパート | 内容キーワード |
| 第一章 冒頭 |
|
多項式曲線フィッティング
-
多項式曲線フィッティング入門！過学習を回避するL1/L2正則化に迫る！
最近のデータ解析や機械学習の分野で重要な役割を果たす多項式曲線フィッティング。 これは機械学習の基礎の基礎となる内容が詰め込まれており勉強になる。 その基本的な理解を深め、適切なモデル選択がいかに重要 ...
続きを見る
| 1.1 例：多項式曲線フィッティング |
|
機械学習で扱う確率論の基礎
-
機械学習で使う確率論の基礎、確率の加法・乗法定理、ベイズの定理など
今回の記事は確率論の基礎を語る。 パターン認識の分野において非常に重要な概念が不確実性である。それは計測ノイズやデータ集合のサイズが有限だからであった。 確率論によって不確実性に関する定量化と操作をす ...
続きを見る
| 1.2 確率論 1.2.1 確率密度 1.2.2 期待値と分散 |
|
頻度主義とベイズ主義の比較、尤度関数って？
-
【確率論】頻度主義とベイズ主義、尤度関数の最大化したい理由を解説【機械学習】
さていよいよベイズ確率に入っていく。 今回の記事ではこれまで見てきた一般的な確率とベイズ確率がどのように違うのか、そして尤度関数の最大化という視点がなぜ必要なのかを見ていく。 ベイズ確率は機械学習を学 ...
続きを見る
| 1.2.3 ベイズ確率 |
|
一次元ガウス分布の性質とその証明
正規分布の基本！
-
一次元ガウス分布徹底解説～いろんな性質とその証明、不偏推定量～
この記事では、ガウス分布というデータ解析の基本となる確率分布を解説していく。 実は、ガウス分布は自然界にもたくさん出てくるので、それを理解することで現象をより深く理解することができるのだ ...
続きを見る
| 1.2.4 ガウス分布 |
|
確率論で多項式曲線フィッティング
-
確率論を使った多項式曲線フィッティングの流れを段階的に徹底解説する【ベイズ】
本記事では、データ解析の基本となる曲線フィッティングを、確率論を用いて理解するための解説を行っている。 最尤推定やベイズの定理を駆使し、パラメータ推定から予測分布の計算までを、そもそもなぜ最尤推定をし ...
続きを見る
| 1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング |
|
第２章 確率分布
離散確率・事前共役分布徹底解説 ベルヌーイ分布、二項分布、カテゴリ分布、多項分布、ベータ分布、ディリクレ分布
-
離散確率・事前共役分布徹底解説 ベルヌーイ分布、二項分布、カテゴリ分布、多項分布、ベータ分布、ディリクレ分布
この記事では、様々な機械学習アルゴリズムを構築するためのパーツとなる各種基本的な確率分布の定義と、その用途や性質を解説する。 非常にヘビーな記事で文字数にして三万文字近くある。 めちゃめ ...
続きを見る
| 2.1 二値変数 2.1.1 ベータ分布 2.2 多値変数 2.2.1 ディリクレ分布 |
|
マハラノビス距離ってなに？多次元のガウス分布（正規分布）の座標変換でわかるその本質【深奥】
-
マハラノビス距離ってなに？多次元のガウス分布（正規分布）の座標変換で分かるその本質【深奥】
というところがこの記事の内容である。 ガウス分布も機械学習、統計を学ぶ上で避けては通れないビックな項目なのでゆっくりとやっていこう。 この記事では主に一次元のガウス分布の性質について触れ ...
続きを見る
| 2.3 ガウス分布 |
|
指数型分布族ってなに？定義とその性質、多項分布やガウス分布ってほんとに指数型分布？？
-
指数型分布族ってなに？定義とその性質、多項分布やガウス分布ってほんとに指数型分布？？
「指数型分布族」、聞いたことはあるけれど、具体的に何を指すのか、どのような特性を持つのか、そしてなぜ重要なのか。 そんな疑問を持つ方々へ、この記事は一つ一つ丁寧に解き明かしていく。 ベル ...
続きを見る
| 2.4 指数型分布族 2.4.1 最尤推定と十分統計量 2.4.2 共役事前分布 2.4.3 無情報事前分布 |
|
ノンパラメトリックな方法を活用したデータの解析：ヒストグラムからK近傍法、カーネル推定まで
-
ノンパラメトリックな方法を活用したデータの解析：ヒストグラムからK近傍法、カーネル推定まで
データ解析において一般的なのは、パラメータを事前に設定しデータを用いてそのパラメータを最適化していくという方法である。 しかし、実際にはそれだけでなく、パラメータに依存しない方法も存在する。それがノン ...
続きを見る
| 2.5 ノンパラメトリック法 2.5.1 カーネル密度推定法 2.5.2 最近傍法 |
|
第３章 線形回帰モデル
経験ベイズってなに？線形回帰モデルをベイズ的に扱うための近似とエビデンス関数
-
経験ベイズってなに？線形回帰モデルをベイズ的に扱うための近似とエビデンス関数
エビデンス近似 僕たちが統計的な問題を解くとき、大抵は何かを予測したり、何かのパターンを見つけたりしたいわけで、これを達成するために、僕たちは通常、データに適合するようなモデルを構築する ...
続きを見る
| 3.5 エビデンス近似 3.5.1 エビデンス関数の評価 3.5.2 エビデンス関数の最大化 3.5.3 有効パラメータ数 |
|
第４章 線形識別モデル
【線形分類モデル】識別関数によって線形的に多クラス分類！！最小二乗法とその弱点とは…
-
【線形分類モデル】識別関数によって線形的に多クラス分類！！最小二乗法とその弱点とは…
ここでは線形的にクラス分類することを考える。 前提知識 最初に分類問題の前提知識をまとめておこう。 まず、「決定領域」について。分類問題とは、一言で言えば、与えられたデータ ...
続きを見る
| 4.1 識別関数（判別関数） 4.1.1 ２クラス 4.1.2 多クラス 4.1.3 分類における最小二乗 |
|
第５章 ニューラルネットワーク