勉強 数学 機械学習/AI

PRML解説記事まとめ

2023年9月6日

この記事ではPRMLと呼ばれる機械学習の理論について書かれたバイブルとも言える参考書を僕が理解できるまでかみ砕いた記事を全てまとめたものである。

それぞれの記事では、書籍ではできない過度に冗長ともいえる文章で数学的な証明などもでき得る限り省かずに書いている。

 

もし、あなたが機械学習やAIについて勉強したくてこの記事を読んでくれているのなら別に上から読んでいく必要はなく、気になったところから読んでもらえればいい。

PRMLとは?

PRML(Pattern Recognition and Machine Learning)とは、マイクロソフト社の研究者であるChristopher M. Bishop氏によって著された機械学習の世界では超有名な参考書で、上の画像のように和訳本が「パターン認識と機械学習:ベイズ理論による統計的予測」として出版されており、通称「PRML(ぷるむる)」や「黄色本」などと呼ばれているらしい。因みに、原書は無料で読むことができる。

 

PRMLは機械学習の根っこである統計・確率論の理論について解説した理論書であり、プログラムを使って実際に実装するという方法を学べる実践書というわけではない。機械学習の手法がどういう理屈で成立しているのか知りたい人にとってはバイブルとなるであろう参考書。

しかしながら名著と名高い一方で「あの本は難易度が高すぎる」、「初心者が手を出すべきではない」などの難しいという声が多く、実際、難解すぎて「PRMLのための解説本」が出るほどムズイらしい。

まぁただ、そんな本を読むと決めてしまったので仕方がない。コツコツ読んでそれをなるべくわかりやすくまとめていくので、お付き合いいただける方は是非読んでいってほしい。

 

第1章 序論

序論(機械学習の種類と分類)

まずはこれから

そもそも機械学習ってなんだ?手書き数字認識でわかる機械学習の種類と分類 

昨今AIの隆盛、発展は著しく、AIや機械学習というものに興味がある人も増えていることと思う。 もうすでに組みあがったAIモデルやAIサービスを利用するのも面白いのだが、なぜAIが成り立っているのか、ど ...

続きを見る

対応するパート内容
第一章 冒頭
  • パターン認識ってなに?
  • 機械学習の分類
    教師あり学習、教師なし学習、強化学習について

多項式曲線フィッティング

多項式曲線フィッティング入門!過学習を回避するL1/L2正則化に迫る!

最近のデータ解析や機械学習の分野で重要な役割を果たす多項式曲線フィッティング。 これは機械学習の基礎の基礎となる内容が詰め込まれており勉強になる。 その基本的な理解を深め、適切なモデル選択がいかに重要 ...

続きを見る

1.1 例:多項式曲線フィッティング
  • 多項式曲線フィッティング
  • 誤差関数
  • (L1/L2)正則化

機械学習で扱う確率論の基礎

機械学習で使う確率論の基礎、確率の加法・乗法定理、ベイズの定理など

今回の記事は確率論の基礎を語る。 パターン認識の分野において非常に重要な概念が不確実性である。それは計測ノイズやデータ集合のサイズが有限だからであった。 確率論によって不確実性に関する定量化と操作をす ...

続きを見る

1.2 確率論
1.2.1 確率密度
1.2.2 期待値と分散
  • 加法定理と乗法定理
  • ベイズの定理
  • 期待値と分散、共分散

頻度主義とベイズ主義の比較、尤度関数って?

【確率論】頻度主義とベイズ主義、尤度関数の最大化したい理由を解説【機械学習】

さていよいよベイズ確率に入っていく。 今回の記事ではこれまで見てきた一般的な確率とベイズ確率がどのように違うのか、そして尤度関数の最大化という視点がなぜ必要なのかを見ていく。 ベイズ確率は機械学習を学 ...

続きを見る

1.2.3 ベイズ確率
  • 頻度主義とベイズ主義
  • 尤度関数

一次元ガウス分布の性質とその証明

正規分布の基本!

一次元ガウス分布徹底解説~いろんな性質とその証明、不偏推定量~

  この記事では、ガウス分布というデータ解析の基本となる確率分布を解説していく。 実は、ガウス分布は自然界にもたくさん出てくるので、それを理解することで現象をより深く理解することができるのだ ...

続きを見る

1.2.4 ガウス分布
  • ガウス分布
  • 最尤推定
  • 不偏推定量

確率論で多項式曲線フィッティング

確率論を使った多項式曲線フィッティングの流れを段階的に徹底解説する【ベイズ】

本記事では、データ解析の基本となる曲線フィッティングを、確率論を用いて理解するための解説を行っている。 最尤推定やベイズの定理を駆使し、パラメータ推定から予測分布の計算までを、そもそもなぜ最尤推定をし ...

続きを見る

1.2.5 曲線フィッティング再訪
1.2.6 ベイズ曲線フィッティング
  • 多項式曲線フィッティング
  • 予測分布

 

 

第2章 確率分布

離散確率・事前共役分布徹底解説 ベルヌーイ分布、二項分布、カテゴリ分布、多項分布、ベータ分布、ディリクレ分布

離散確率・事前共役分布徹底解説 ベルヌーイ分布、二項分布、カテゴリ分布、多項分布、ベータ分布、ディリクレ分布

  この記事では、様々な機械学習アルゴリズムを構築するためのパーツとなる各種基本的な確率分布の定義と、その用途や性質を解説する。 非常にヘビーな記事で文字数にして三万文字近くある。 めちゃめ ...

続きを見る

2.1 二値変数
2.1.1 ベータ分布
2.2 多値変数
2.2.1 ディリクレ分布
  • ベルヌーイ分布
  • 二項分布
  • ベータ分布
  • カテゴリ分布
  • 多項分布
  • ディリクレ分布

マハラノビス距離ってなに?多次元のガウス分布(正規分布)の座標変換でわかるその本質【深奥】

マハラノビス距離ってなに?多次元のガウス分布(正規分布)の座標変換で分かるその本質【深奥】

というところがこの記事の内容である。 ガウス分布も機械学習、統計を学ぶ上で避けては通れないビックな項目なのでゆっくりとやっていこう。   この記事では主に一次元のガウス分布の性質について触れ ...

続きを見る

2.3 ガウス分布
  • 多次元ガウス分布
  • マハラノビス距離
  • 座標変換

 

第3章 線形回帰モデル

 

 

 

第4章 線形識別モデル

 

 

 

第5章 ニューラルネットワーク

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

-勉強, 数学, 機械学習/AI