nomuyu

この記事ではPRMLと呼ばれる機械学習の理論について書かれたバイブルとも言える参考書を僕が理解できるまでかみ砕いた記事を全てまとめたものである。 それぞれの記事では、書籍ではできない過度に冗長ともいえる文章を数学的な証明などもでき得る限り省かずに書いている。   もし、あなたが機械学習やAIについて勉強したくてこの記事を読んでくれているのなら別に上から読んでいく必要はなく、気になったところから読んでもらえればいい。 PRMLとは？ PRML（Pattern Recognition and Mac ...

この記事ではラグランジュの未定乗数法について徹底的に解説していく。   なぜラグランジュの未定乗数法はあれで導出することができるのか、厳密な証明、直感的な理解、幾何的な解釈をすべて取り扱う渾身の記事である。 この記事を読めばラグランジュの未定乗数法の理解が深淵に達すること請け合い。 ラグランジュの未定乗数法とは ラグランジュの未定乗数法とは、多変数関数がある制約条件を満たすときの最大値または最小値を求めるための手法である。経済学や物理学、工学、機械学習など、様々な場面で活用される。 まず、僕たち ...

                      前向き伝搬ネットワーク関数 まずは回帰・分類用線形モデルから振り返ろう $$ y(\mathbf{x}, \mathbf{w})=f\left(\sum_{j=1}^M w_j \phi_j(\mathbf{x})\right) $$ という形だったが、これは次のように解釈する 入力データ\(x\)を非線形基底関数\(\phi_j(x)\)による写像 そ ...

  線形回帰の次は線形的にクラスを分類する方法について考えてみよう。   前提知識 まず、「決定領域」について。識別問題とは、一言で言えば、与えられたデータがどのカテゴリに属するかを決定する問題だ。例えば、果物の重さと色から、それがリンゴかオレンジかを判断する、といった具体的な状況を思い浮かべると良い。各果物（つまりデータ）がどの果物のカテゴリに属するかを示す空間（例えば、重さと色で構成される二次元平面）を考える。この空間を、カテゴリごとに区切ると、それぞれのカテゴリが支配する領域がで ...

※この記事はnoteに公開している「本気で結果を出したい人のための暗記法完全マニュアル」とほぼ同じものです。すでに購入されたことがある方はご注意ください。 まず最初に暗記、すなわちインプットを正確に行うことの爆発力についてご紹介したいと思います。 暗記というと「暗」という字があるだけあって「めんどくさい」などの暗いネガティブなイメージを持ちがちですが 暗記によって得られる効果は絶大です。 それは圧倒的な時間の短縮です。 皆さん経験があると思いますが、「知っている」のと「知らない」のとでは成果とその時間に差 ...

  僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。 エビデンス近似 僕たちが統計的な問題を解くとき、大抵は何かを予測したり、何かのパターンを見つけたりしたいわけで、これを達成するために、僕たちは通常、データに適合するようなモデルを構築する。そして、それらのモデルには「パラメータ」が存在し、そのパラメータを変えることでモデルの形が変わる。 例えば、直線の方程式\(y = ax + b\)を考えてみよう。ここで\(a\)と\(b\)はパラメータであり、これらを変えることで直線 ...

  人間生きていると誰しも異常検知をしたいときが突然来るものである。とある製品に光を当てて一定数以上エアポケットが出てしまった場合に異常を検知したいときが誰しも来る。   今回はいろいろ諸事情があって、その製品に関する画像データが手元に全くないので、まずはネジに対して異常を検知できるかどうかpythonで実装してみるか…   よし、、、 Convolutional Auto Encoder を実装する 今回はConvolutional AutoEncoderを使用する。Con ...

データ解析というと大抵、パラメータに基づく推定方法が思い浮かぶかもしれない。 しかし、実際にはそれだけでなく、パラメータに依存しない方法も存在する。それがノンパラメトリックな方法である。 今回の記事では、ヒストグラム密度推定法から始めて、カーネル密度推定法、そして最後にK近傍法まで、ノンパラメトリックな手法を用いたデータ解析の流れを、丁寧に段階的に解説していく。   ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。   ノンパラメトリックなアプローチってなに ...

  「指数型分布族」、聞いたことはあるけれど、具体的に何を指すのか、どのような特性を持つのか、そしてなぜ重要なのか。 そんな疑問を持つ方々へ、この記事は一つ一つ丁寧に解き明かしていく。 ベルヌーイ分布、多項分布、ガウス分布といった具体的な分布が実は指数型分布族に属していること、そしてそれが何を意味するのか。 さらに、最尤推定法と共に、指数型分布族と共役事前分布の関係についても掘り下げていく。無情報事前分布や変則事前分布についても触れ、指数型分布族の理解を深める一助となることを目指す。 &nbsp ...

というところがこの記事の内容である。 ガウス分布も機械学習、統計を学ぶ上で避けては通れないビックな項目なのでゆっくりとやっていこう。   この記事では主に一次元のガウス分布の性質について触れている。 ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。 ガウス分布とは ガウス分布は正規分布とも呼ばれ、連続変数の分布のモデルとして広く利用されている。 まずはガウス分布の定義から確認しよう。 というのがガウス分布の定義であったが、一次元の場合と多次元の場合の定義式を見比べると ...

  この記事では、様々な機械学習アルゴリズムを構築するためのパーツとなる各種基本的な確率分布の定義と、その用途や性質を解説する。 非常にヘビーな記事で文字数にして三万文字近くある。 めちゃめちゃ丁寧に解説した魂の記事なのでぜひ読んでほしい。   確率分布は機械学習を学ぶ上で避けては通れないところで、この記事はその確率分布の理解の助けとなるべく書いたものである。 ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。   離散確率分布の関係性 今回の流れは ...

本記事では、データ解析の基本となる曲線フィッティングを、確率論を用いて理解するための解説を行っている。 最尤推定やベイズの定理を駆使し、パラメータ推定から予測分布の計算までを、そもそもなぜ最尤推定をしたいのか、なぜその式で予測分布が得られるのかを含めて説明している。 この記事を通じて、曲線フィッティングの基本的な考え方を段階的に理解できることだろう。   確立論を使った曲線フィッティング この記事では多項式曲線フィッティングを誤差最小化としてどのように表現できるかをみた。 ここでは改めて確立的な ...

  この記事では、ガウス分布というデータ解析の基本となる確率分布を解説していく。 実は、ガウス分布は自然界にもたくさん出てくるので、それを理解することで現象をより深く理解することができるのだ。 さらに、最尤推定という手法を使ってデータから推定を行う方法も紹介する。 なるべくどうしてそうなるのか、証明も厳密に書いていくので冗長で読みにくい部分があるかもしれない なので、証明はあんまり興味ないという人は読み飛ばしてくれてかまわない。 結局ガウス分布というものが何で、どういう性質があって、それを機械学 ...

さていよいよベイズ確率に入っていく。 今回の記事ではこれまで見てきた一般的な確率とベイズ確率がどのように違うのか、そして尤度関数の最大化という視点がなぜ必要なのかを見ていく。 ベイズ確率は機械学習を学ぶ上で避けては通れない概念であり、この記事はその概観をつかむ一助になるかもしれない。   頻度主義とベイズ主義 いよいよ、ベイズ確率というものについて詳しく見ていく。 ベイズ確率というものを理解するために、これまで使用してきた頻度主義的な確率とどう違うものなのか比べてみよう。ベイズ的な確率と頻度主義 ...

今回の記事は確率論の基礎を語る。 パターン認識の分野において非常に重要な概念が不確実性である。それは計測ノイズやデータ集合のサイズが有限だからであった。 確率論によって不確実性に関する定量化と操作をすることができるようになり、パターン認識延いては機械学習の中心的な役割を担っている。   しかしながら、それほど構える必要もない。パターン認識問題に対して必要な確率な知識は確率の加法定理と確率の乗法定理のみである。 まずはそれを理解していこう。   確率の加法定理 まず、確率の加法定理につい ...