nomuyu

この記事では多様体とは何か、どうしてそんな概念が生まれたのかを考えていきます。   最初に多様体とは何なのかを一言で言うなら「なんだかよくわからないものを自分の土俵に持ち込み理解するための概念」です。 なのでこれからこの記事で展開されていく考え方は「宇宙」や「情報」など人類がその全貌を理解していない、認識できないようなものを人類がこれまで築いてきた数学を使っていろいろしたーい！　という願いをかなえてくれる（かもしれない）ものの基礎です。   いきなり厳密にあれこれ考えるのではなく、まず ...

この記事ではできうる限り厳密にサポートベクターマシンの理論について解説を行っていく。   この記事を読めばSVMのおおよそすべてが分かる。 注意としては実装の仕方やコードなどの解説は一切行わない。理論的な部分に関しての解説をとことん行う。   サポートベクターマシン(SVM)とは サポートベクターマシン(SVM)とは、サポートベクトルマシンとも呼ばれ、分類問題でよく用いられる有名な機械学習の手法の一つである。 分類問題とは、入力されたデータを複数の特定のカテゴリーに分ける問題である。た ...

この記事ではサポートベクターマシン(SVM)の最適化問題について特化して詳しく解説していく。 SVMのマージン最大化などの基本的な理論についてはこちらの記事を参考にしてほしい。むしろ順番としてはこちらの記事を読んでからこの記事を読んだほうが理解が深まると思う。   SVMの基本原理 SVMの基本的な目的は、データを分類する最適な超平面を見つけることである。この超平面は、異なるクラスに属するデータポイントを最も効果的に分離する。SVMでは、次の二つの主要な概念が用いられる。 マージン最大化: SV ...

2023年は僕にとって生活面で少し変化がある年で ブログとしてもかなり変化した。 具体的には迷走をしてふわふわしていたブログから、数学と機械学習の理論について深堀りしまくるガッチガチの難しそうなブログになった。 どちらがいいのかは一概には分からない。個人的にはもっと楽しめるブログにしたいと思っている   一月 試験三昧。かなりしんどかったのを覚えている。年始には帯状疱疹に罹患していた。   二月 何してたかあまり記憶も記録もない。 唯一覚えていることとしては Udemyをコツコツやって ...

Transformerで使われているPositional EncodingであるSinusoidal Positional Encodingについて徹底的に解説して さらに、そこから相対位置エンコーディングへの橋渡しをこの記事では行う。 なるべく直感的に、なぜこのような手法がとられるのか、なぜうまくいくのか、現時点での僕ができうる限り解説する。   この記事を読めばInput Embeddingがどういう気持ちで何をやっているのかがわかることと思う。 必要な前提知識は三角関数だけである。（線形代 ...

この記事では、Transformerの中心的な役割を果たすMulti-Head Attentionについて解説する。   Transformerのほかの機構の詳細な解説はせず、完全にMulti-Head Attention特化の解説となるので、ほかの機構や全体観を掴みたい方はこちらの記事をご一読いただきたい。 この記事はまずはScaled Dot-Product AttentionというMulti-Head Attentionの中で使われている核心部分についてこれでもかと詳しく解説したのちに、本 ...

近年のAI技術の急激な発展には「Transformer」という深層学習モデルの存在が大きく関わっている。 この記事では、そのTrasformerについてその仕組みとそれがなぜ組み込まれているかを画像をふんだんに使用して徹底的に解説している。 必要な知識はなんと高校数学と行列の足し算、掛け算のみ！ 今後のAI社会において理解しておいて絶対に損はないので、ぜひ読んでほしい。   Transformerってなに？？ Transformerは、もともと機械翻訳の深層学習モデルとして2017年にGoogl ...

本記事は、Softmax関数に関する理解を深めたい方々を対象にしています。 必要な前提知識は以下の通りです。 基本的な数学知識（特に確率論と指数関数） ニューラルネットワークの基本概念 Pythonプログラミングの基礎 機械学習における一般的な用語の理解 この記事では、Softmax関数の定義からその性質、応用例、そして実際のコーディング方法に至るまでを段階的に解説しています。機械学習の分野における多クラス分類問題への理解を深めるための基礎的なガイドとして、本記事を活用いただければと思います。 &nbsp ...

データ分析や機械学習の分野で広く用いられるコサイン類似度は、ベクトル間の類似性を測定する強力なツールである。   この記事では、コサイン類似度の基本原理から、高次元データでの振る舞い、そして次元の呪いに対処する方法までを詳細に解説する。 データサイエンティストや機械学習エンジニアにとって重要なこの問題を、わかりやすく、段階的に理解し、実践的な解決策を身につけるための一助となることを目指す。 【定義】コサイン類似度とは何か コサイン類似度は、特に二つのベクトル間の角度を利用して、それらがどれだけ似 ...

数学の世界において、行列とベクトルの積は基本的かつ強力な概念である。 この記事では、行列とベクトルの積がどのように計算され、どのような幾何学的意味を持つのかを段階的に解説する。 さらに、コンピュータグラフィックスから経済学に至るまで、実世界での多様な応用例を紹介し、この重要な数学的ツールの理解を深める。数学の基礎から応用までを網羅するこの記事は、高校生から数学に興味を持つ全ての読者にとって、行列とベクトルの積の理解を深めるための貴重なリソースとなるだろう。   はじめに：行列とベクトルの積とは ...

    ニューラルネットワークにベイズ推定の考え方を導入し応用したものに、ベイジアンニューラルネットワークがある。 通常のニューラルネットワークとの違いやその理論についてイメージをつかむべく整理していく。   ベイジアンニューラルネットワーク（BNN）とは ベイジアンニューラルネットワーク(Bayesian Neural Network)は、近年注目を集めている一つの研究テーマである。この技術は、従来のニューラルネットワークにベイジアン理論を組み合わせることで、予測の不確実性 ...

            混合密度ネットワークとは 混合密度ネットワーク（MDN）は、複数の確率分布を組み合わせて出力するニューラルネットワークの一種である。与えられたどんな\(\mathbf{x}\)の値に対しても、混合モデルは任意の条件付き密度関数\(p(\mathbf{t} \mid \mathbf{x})\)をモデル化するための一般的な枠組みを提供する。   そもそも教師あり学習の目標とは、条件付き分布\(p(\mathbf{t} ...

時系列データを分析・予測する際にとても大事な概念に「定常性」の確認がある。 その確認に使われるADF検定が一体どういう仕組みで、どういう手順で検定するのかこの記事では分かりやすく解説してみる。     ADF検定とは？− 時系列データの安定性をチェックするツール 時系列データとは、時間の経過に伴って得られる一連のデータ点のことである。株価の推移や気温の変動など、日常生活でよく見かけるものだ。これらのデータが「定常」であるかどうかを調べるのがADF検定（Augmented Dickey- ...

この記事ではPRMLと呼ばれる機械学習の理論について書かれたバイブルとも言える参考書を僕が理解できるまでかみ砕いた記事を全てまとめたものである。 それぞれの記事では、書籍ではできない過度に冗長ともいえる文章で数学的な証明などもでき得る限り省かずに書いている。   この記事群は上から順に読んでいく必要はなく、気になったところから読んでもらえればいい。 PRMLとは？ PRML（Pattern Recognition and Machine Learning）とは、マイクロソフト社の研究者であるCh ...

この記事ではラグランジュの未定乗数法について徹底的に解説していく。   なぜラグランジュの未定乗数法はあれで導出することができるのか、厳密な証明、直感的な理解、幾何的な解釈をすべて取り扱う渾身の記事である。 この記事を読めばラグランジュの未定乗数法の理解が深淵に達すること請け合い。 ラグランジュの未定乗数法とは ラグランジュの未定乗数法とは、多変数関数がある制約条件を満たすときの最大値または最小値を求めるための手法である。経済学や物理学、工学、機械学習など、様々な場面で活用される。 まず、僕たち ...