nomuyu

「ニューラルネットワーク」という言葉、最近よく耳にしませんか？ スマートフォンの顔認証、翻訳アプリ、自動運転技術など、私たちの身の回りの多くの「賢い」技術の裏側で活躍しています。でも、一体ニューラルネットワークって何なのでしょう？ 簡単に言うと、ニューラルネットワークは、私たち人間の脳の神経細胞（ニューロン）のネットワーク構造をヒントに作られた、数学的なモデルです。たくさんのニューロンが互いに情報をやり取りしながら、複雑な問題を解くことができる仕組みを持っています。 この記事では、ニューラルネットワークが ...

  ここでは線形的にクラス分類することを考える。   前提知識 最初に分類問題の前提知識をまとめておこう。 まず、「決定領域」について。分類問題とは、一言で言えば、与えられたデータがどのカテゴリに属するかを決定する問題だ。例えば、果物の重さと色から、それがリンゴかオレンジかを判断する、といった具体的な状況を思い浮かべると良い。各果物（つまりデータ）がどの果物のカテゴリに属するかを示す空間（例えば、重さと色で構成される二次元平面）を考える。この空間を、カテゴリごとに区切ると、それぞれのカ ...

※この記事はnoteに公開している「本気で結果を出したい人のための暗記法完全マニュアル」とほぼ同じものです。すでに購入されたことがある方はご注意ください。 まず最初に暗記、すなわちインプットを正確に行うことの爆発力についてご紹介したいと思います。 暗記というと「暗」という字があるだけあって「めんどくさい」などの暗いネガティブなイメージを持ちがちですが 暗記によって得られる効果は絶大です。 それは圧倒的な時間の短縮です。 皆さん経験があると思いますが、「知っている」のと「知らない」のとでは成果とその時間に差 ...

  エビデンス近似 僕たちが統計的な問題を解くとき、大抵は何かを予測したり、何かのパターンを見つけたりしたいわけで、これを達成するために、僕たちは通常、データに適合するようなモデルを構築する。そして、それらのモデルには「パラメータ」が存在し、そのパラメータを変えることでモデルの形が変わる。   問題は、事後分布を計算するのが非常に難しいことだ。特に、モデルが複雑になると、事後分布を厳密に計算することはほぼ不可能となる。 そこで考え出されたのが、「経験ベイズ」と呼ばれる手法だ。これは、全 ...

  人間生きていると誰しも異常検知をしたいときが突然来るものである。とある製品に光を当てて一定数以上エアポケットが出てしまった場合に異常を検知したいときが誰しも来る。   今回はいろいろ諸事情があって、その製品に関する画像データが手元に全くないので、まずはネジに対して異常を検知できるかどうかpythonで実装してみるか…   よし、、、 Convolutional Auto Encoder を実装する 今回はConvolutional AutoEncoderを使用する。Con ...

データ解析において一般的なのは、パラメータを事前に設定しデータを用いてそのパラメータを最適化していくという方法である。 しかし、実際にはそれだけでなく、パラメータに依存しない方法も存在する。それがノンパラメトリックな方法である。 今回の記事では、ヒストグラム密度推定法から始めて、カーネル密度推定法、そして最後にK近傍法まで、ノンパラメトリックな手法を用いたデータ解析の流れを、丁寧に段階的に解説していく。     ノンパラメトリックなアプローチってなに??? まずは、ノンパラメトリックな ...

  「指数型分布族」、聞いたことはあるけれど、具体的に何を指すのか、どのような特性を持つのか、そしてなぜ重要なのか。 そんな疑問を持つ方々へ、この記事は一つ一つ丁寧に解き明かしていく。 ベルヌーイ分布、多項分布、ガウス分布といった具体的な分布が実は指数型分布族に属していること、そしてそれが何を意味するのか。 さらに、最尤推定法と共に、指数型分布族と共役事前分布の関係についても掘り下げていく。無情報事前分布や変則事前分布についても触れ、指数型分布族の理解を深める一助となることを目指す。 &nbsp ...

というところがこの記事の内容である。 ガウス分布も機械学習、統計を学ぶ上で避けては通れないビックな項目なのでゆっくりとやっていこう。   この記事では主に一次元のガウス分布の性質について触れている。 ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。 ガウス分布とは ガウス分布は正規分布とも呼ばれ、連続変数の分布のモデルとして広く利用されている。 まずはガウス分布の定義から確認しよう。 というのがガウス分布の定義であったが、一次元の場合と多次元の場合の定義式を見比べると ...

  この記事では、様々な機械学習アルゴリズムを構築するためのパーツとなる各種基本的な確率分布の定義と、その用途や性質を解説する。 非常にヘビーな記事で文字数にして三万文字近くある。 めちゃめちゃ丁寧に解説した魂の記事なのでぜひ読んでほしい。   確率分布は機械学習を学ぶ上で避けては通れないところで、この記事はその確率分布の理解の助けとなるべく書いたものである。 ただ、僕も勉強中の身なので、何か間違いなどがあればコメント等で教えてほしい。   離散確率分布の関係性 今回の流れは ...

本記事では、データ解析の基本となる曲線フィッティングを、確率論を用いて理解するための解説を行っている。 最尤推定やベイズの定理を駆使し、パラメータ推定から予測分布の計算までを、そもそもなぜ最尤推定をしたいのか、なぜその式で予測分布が得られるのかを含めて説明している。 この記事を通じて、曲線フィッティングの基本的な考え方を段階的に理解できることだろう。   確立論を使った曲線フィッティング この記事では多項式曲線フィッティングを誤差最小化としてどのように表現できるかをみた。 ここでは改めて確立的な ...

  この記事では、ガウス分布というデータ解析の基本となる確率分布を解説していく。 実は、ガウス分布は自然界にもたくさん出てくるので、それを理解することで現象をより深く理解することができるのだ。 さらに、最尤推定という手法を使ってデータから推定を行う方法も紹介する。 なるべくどうしてそうなるのか、証明も厳密に書いていくので冗長で読みにくい部分があるかもしれない なので、証明はあんまり興味ないという人は読み飛ばしてくれてかまわない。 結局ガウス分布というものが何で、どういう性質があって、それを機械学 ...

さていよいよベイズ確率に入っていく。 今回の記事ではこれまで見てきた一般的な確率とベイズ確率がどのように違うのか、そして尤度関数の最大化という視点がなぜ必要なのかを見ていく。 ベイズ確率は機械学習を学ぶ上で避けては通れない概念であり、この記事はその概観をつかむ一助になるかもしれない。   頻度主義とベイズ主義 いよいよ、ベイズ確率というものについて詳しく見ていく。 ベイズ確率というものを理解するために、これまで使用してきた頻度主義的な確率とどう違うものなのか比べてみよう。ベイズ的な確率と頻度主義 ...

今回の記事は確率論の基礎を語る。 パターン認識の分野において非常に重要な概念が不確実性である。それは計測ノイズやデータ集合のサイズが有限だからであった。 確率論によって不確実性に関する定量化と操作をすることができるようになり、パターン認識延いては機械学習の中心的な役割を担っている。   しかしながら、それほど構える必要もない。パターン認識問題に対して必要な確率な知識は確率の加法定理と確率の乗法定理のみである。 まずはそれを理解していこう。   確率の加法定理 まず、確率の加法定理につい ...

最近のデータ解析や機械学習の分野で重要な役割を果たす多項式曲線フィッティング。 これは機械学習の基礎の基礎となる内容が詰め込まれており勉強になる。 その基本的な理解を深め、適切なモデル選択がいかに重要かを学ぶために、本記事では多項式曲線フィッティングの定義から過学習を回避する方法までをわかりやすく解説していく。 因みに前回の内容はこちら   多項式曲線フィッティング 回帰問題について考えてみよう。回帰問題とは教師あり学習の一種で、入力ベクトルに対応する連続値を予測するタスクであった。 ここからは ...

昨今AIの隆盛、発展は著しく、AIや機械学習というものに興味がある人も増えていることと思う。 もうすでに組みあがったAIモデルやAIサービスを利用するのも面白いのだが、なぜAIが成り立っているのか、どういう仕組みなのか興味はないだろうか。 AIツールはこれからどんどん新しいものが出て来て、人間はついていくのも難しくなっていくだろう。しかし、AI、機械学習の根っこの理論の部分は変わらない。だからこそ今こそ機械学習の理論を学ぶのには意味があると思っている。   またさらに、なるべく数学的な話から逃げ ...