数学

PRML解説記事まとめ

この記事ではPRMLと呼ばれる機械学習の理論について書かれたバイブルとも言える参考書を僕が理解できるまでかみ砕いた記事を全てまとめたものである。それぞれの記事では、書籍ではできない過度に冗長ともいえる文章を数学的な証明などもでき得る限り省かずに書いている。もし、あなたが機械学習やAIについて勉強したくてこの記事を読んでくれているのなら別に上から読んでいく必要はなく、気になったところから読んでもらえればいい。 PRMLとは？ PRML（Pattern Recognition and Mac ...

ラグランジュの未定乗数法（KKT条件）の証明と直感的理解、そしてその幾何的解釈

この記事ではラグランジュの未定乗数法について徹底的に解説していく。なぜラグランジュの未定乗数法はあれで導出することができるのか、厳密な証明、直感的な理解、幾何的な解釈をすべて取り扱う渾身の記事である。この記事を読めばラグランジュの未定乗数法の理解が深淵に達すること請け合い。ラグランジュの未定乗数法とはラグランジュの未定乗数法とは、多変数関数がある制約条件を満たすときの最大値または最小値を求めるための手法である。経済学や物理学、工学、機械学習など、様々な場面で活用される。まず、僕たち ...

【線形識別モデル】識別関数によって線形的に多クラス分類！！最小二乗法とその弱点とは…

線形回帰の次は線形的にクラスを分類する方法について考えてみよう。前提知識まず、「決定領域」について。識別問題とは、一言で言えば、与えられたデータがどのカテゴリに属するかを決定する問題だ。例えば、果物の重さと色から、それがリンゴかオレンジかを判断する、といった具体的な状況を思い浮かべると良い。各果物（つまりデータ）がどの果物のカテゴリに属するかを示す空間（例えば、重さと色で構成される二次元平面）を考える。この空間を、カテゴリごとに区切ると、それぞれのカテゴリが支配する領域がで ...

経験ベイズってなに？線形回帰モデルをベイズ的に扱うための近似とエビデンス関数

僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。エビデンス近似僕たちが統計的な問題を解くとき、大抵は何かを予測したり、何かのパターンを見つけたりしたいわけで、これを達成するために、僕たちは通常、データに適合するようなモデルを構築する。そして、それらのモデルには「パラメータ」が存在し、そのパラメータを変えることでモデルの形が変わる。例えば、直線の方程式\(y = ax + b\)を考えてみよう。ここで\(a\)と\(b\)はパラメータであり、これらを変えることで直線 ...

ノンパラメトリックな方法を活用したデータの解析：ヒストグラムからK近傍法、カーネル推定まで

データ解析というと大抵、パラメータに基づく推定方法が思い浮かぶかもしれない。しかし、実際にはそれだけでなく、パラメータに依存しない方法も存在する。それがノンパラメトリックな方法である。今回の記事では、ヒストグラム密度推定法から始めて、カーネル密度推定法、そして最後にK近傍法まで、ノンパラメトリックな手法を用いたデータ解析の流れを、丁寧に段階的に解説していく。ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。ノンパラメトリックなアプローチってなに ...

指数型分布族ってなに？定義とその性質、多項分布やガウス分布ってほんとに指数型分布？？

「指数型分布族」、聞いたことはあるけれど、具体的に何を指すのか、どのような特性を持つのか、そしてなぜ重要なのか。そんな疑問を持つ方々へ、この記事は一つ一つ丁寧に解き明かしていく。ベルヌーイ分布、多項分布、ガウス分布といった具体的な分布が実は指数型分布族に属していること、そしてそれが何を意味するのか。さらに、最尤推定法と共に、指数型分布族と共役事前分布の関係についても掘り下げていく。無情報事前分布や変則事前分布についても触れ、指数型分布族の理解を深める一助となることを目指す。 &nbsp ...

マハラノビス距離ってなに？多次元のガウス分布（正規分布）の座標変換で分かるその本質【深奥】

というところがこの記事の内容である。ガウス分布も機械学習、統計を学ぶ上で避けては通れないビックな項目なのでゆっくりとやっていこう。この記事では主に一次元のガウス分布の性質について触れている。ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。ガウス分布とはガウス分布は正規分布とも呼ばれ、連続変数の分布のモデルとして広く利用されている。まずはガウス分布の定義から確認しよう。というのがガウス分布の定義であったが、一次元の場合と多次元の場合の定義式を見比べると ...

離散確率・事前共役分布徹底解説ベルヌーイ分布、二項分布、カテゴリ分布、多項分布、ベータ分布、ディリクレ分布

この記事では、様々な機械学習アルゴリズムを構築するためのパーツとなる各種基本的な確率分布の定義と、その用途や性質を解説する。非常にヘビーな記事で文字数にして三万文字近くある。めちゃめちゃ丁寧に解説した魂の記事なのでぜひ読んでほしい。確率分布は機械学習を学ぶ上で避けては通れないところで、この記事はその確率分布の理解の助けとなるべく書いたものである。ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。離散確率分布の関係性今回の流れは ...

確率論を使った多項式曲線フィッティングの流れを段階的に徹底解説する【ベイズ】

本記事では、データ解析の基本となる曲線フィッティングを、確率論を用いて理解するための解説を行っている。最尤推定やベイズの定理を駆使し、パラメータ推定から予測分布の計算までを、そもそもなぜ最尤推定をしたいのか、なぜその式で予測分布が得られるのかを含めて説明している。この記事を通じて、曲線フィッティングの基本的な考え方を段階的に理解できることだろう。確立論を使った曲線フィッティングこの記事では多項式曲線フィッティングを誤差最小化としてどのように表現できるかをみた。ここでは改めて確立的な ...

一次元ガウス分布徹底解説～いろんな性質とその証明、不偏推定量～

この記事では、ガウス分布というデータ解析の基本となる確率分布を解説していく。実は、ガウス分布は自然界にもたくさん出てくるので、それを理解することで現象をより深く理解することができるのだ。さらに、最尤推定という手法を使ってデータから推定を行う方法も紹介する。なるべくどうしてそうなるのか、証明も厳密に書いていくので冗長で読みにくい部分があるかもしれないなので、証明はあんまり興味ないという人は読み飛ばしてくれてかまわない。結局ガウス分布というものが何で、どういう性質があって、それを機械学 ...

【確率論】頻度主義とベイズ主義、尤度関数の最大化したい理由を解説【機械学習】

さていよいよベイズ確率に入っていく。今回の記事ではこれまで見てきた一般的な確率とベイズ確率がどのように違うのか、そして尤度関数の最大化という視点がなぜ必要なのかを見ていく。ベイズ確率は機械学習を学ぶ上で避けては通れない概念であり、この記事はその概観をつかむ一助になるかもしれない。頻度主義とベイズ主義いよいよ、ベイズ確率というものについて詳しく見ていく。ベイズ確率というものを理解するために、これまで使用してきた頻度主義的な確率とどう違うものなのか比べてみよう。ベイズ的な確率と頻度主義 ...

機械学習で使う確率論の基礎、確率の加法・乗法定理、ベイズの定理など

今回の記事は確率論の基礎を語る。パターン認識の分野において非常に重要な概念が不確実性である。それは計測ノイズやデータ集合のサイズが有限だからであった。確率論によって不確実性に関する定量化と操作をすることができるようになり、パターン認識延いては機械学習の中心的な役割を担っている。しかしながら、それほど構える必要もない。パターン認識問題に対して必要な確率な知識は確率の加法定理と確率の乗法定理のみである。まずはそれを理解していこう。確率の加法定理まず、確率の加法定理につい ...

多項式曲線フィッティング入門！過学習を回避するL1/L2正則化に迫る！

最近のデータ解析や機械学習の分野で重要な役割を果たす多項式曲線フィッティング。これは機械学習の基礎の基礎となる内容が詰め込まれており勉強になる。その基本的な理解を深め、適切なモデル選択がいかに重要かを学ぶために、本記事では多項式曲線フィッティングの定義から過学習を回避する方法までをわかりやすく解説していく。因みに前回の内容はこちら多項式曲線フィッティング回帰問題について考えてみよう。回帰問題とは教師あり学習の一種で、入力ベクトルに対応する連続値を予測するタスクであった。ここからは ...

【画像処理】画像を滑らかに！ガウシアンフィルタの仕組みと計算式

画像処理の世界では、さまざまなフィルタが存在し、それぞれ特定の目的のために利用されている。今回は、画像を滑らかにするガウシアンフィルタについて、その原理や計算式、実際に計算する際の具体的な流れを解説していこうと思う。ガウシアンフィルタとはガウシアンフィルタは、画像を滑らかにするために用いられるフィルタの一つで、ガウス分布関数（正規分布関数）を基にしている。このフィルタは、画像内の細かいノイズやテクスチャを平滑化し、全体的になめらかな画像を生成する。画像編 ...