nomulog

ワッサースタイン(Wasserstein)距離とは？距離の公理を満たすことの証明まで

GANなどの生成モデルで使われるようになりたびたび聞くことも増えたワッサースタイン(Wasserstein)距離というものを解説します。ワッサースタイン距離というのは一言でいうと、確率分布間を測る距離の一つです。この記事では離散確率分布に対するワッサースタイン距離の定義とそれが距離の公理を満たすことを証明します。最適輸送問題とは最適輸送問題は、物理学や経済学などの分野で長い歴史を持つ数理的な問題です。この問題は、ある場所に存在する物資を別の場所に運ぶ際の最適な方法を探求します。具体的 ...

曲面から導く多様体の基礎

この記事では多様体とは何か、どうしてそんな概念が生まれたのかを考えていきます。最初に多様体とは何なのかを一言で言うなら「なんだかよくわからないものを自分の土俵に持ち込み理解するための概念」です。なのでこれからこの記事で展開されていく考え方は「宇宙」や「情報」など人類がその全貌を理解していない、認識できないようなものを人類がこれまで築いてきた数学を使っていろいろしたーい！　という願いをかなえてくれる（かもしれない）ものの基礎です。いきなり厳密にあれこれ考えるのではなく、まず ...

サポートベクターマシン（SVM）徹底解説！マージン最大化とカーネル法、双対問題とは

この記事ではできうる限り厳密にサポートベクターマシンの理論について解説を行っていく。この記事を読めばSVMのおおよそすべてが分かる。注意としては実装の仕方やコードなどの解説は一切行わない。理論的な部分に関しての解説をとことん行う。サポートベクターマシン(SVM)とはサポートベクターマシン(SVM)とは、サポートベクトルマシンとも呼ばれ、分類問題でよく用いられる有名な機械学習の手法の一つである。分類問題とは、入力されたデータを複数の特定のカテゴリーに分ける問題である。た ...

サポートベクターマシン(SVM)の最適化

この記事ではサポートベクターマシン(SVM)の最適化問題について特化して詳しく解説していく。 SVMのマージン最大化などの基本的な理論についてはこちらの記事を参考にしてほしい。むしろ順番としてはこちらの記事を読んでからこの記事を読んだほうが理解が深まると思う。 SVMの基本原理 SVMの基本的な目的は、データを分類する最適な超平面を見つけることである。この超平面は、異なるクラスに属するデータポイントを最も効果的に分離する。SVMでは、次の二つの主要な概念が用いられる。マージン最大化: SV ...

２０２３年の振り返り記事　月ごとに何をしたのかと、何の記事を書いたのかを振り返って反省

2023年は僕にとって生活面で少し変化がある年でブログとしてもかなり変化した。具体的には迷走をしてふわふわしていたブログから、数学と機械学習の理論について深堀りしまくるガッチガチの難しそうなブログになった。どちらがいいのかは一概には分からない。個人的にはもっと楽しめるブログにしたいと思っている一月試験三昧。かなりしんどかったのを覚えている。年始には帯状疱疹に罹患していた。二月何してたかあまり記憶も記録もない。唯一覚えていることとしては Udemyをコツコツやって ...

量子コンピュータのための量子論基礎【一体系篇】

こんにちは皆さん、量子コンピュータシリーズ第２弾です。前回は量子コンピュータの概要について見ました。今回の記事では、より詳しく量子コンピュータを理解するために必要な最小限の数学と量子論を学んでいこうと思います。ターゲットは線形代数は知ってるけど量子論についてはあんまり・・・という方。目標は量子状態の変化や、固有状態が観測される確率を自分で計算できるようになることです。それでは早速始めましょう。前提知識・学部１年生レベルの線形代数・高校物理一体系の ...

量子コンピュータ入門：基礎から始める量子コンピューティングの世界

今回から量子コンピュータ関連のシリーズを連載していきます。このシリーズでは数回にわたって、量子コンピュータの基礎的な部分や美味しい部分を解説していきます。来る量子コンピュータ時代に向けて私と一緒に勉強していきましょう。初回となる今回は量子コンピュータの概要や量子論の世界観について導入することから始めます。量子コンピュータはその名の通り量子論の原理に則ったコンピュータですから、まず量子論について概観することから始めましょう。量子論の世界観今からおよそ100年前、科学史 ...

Positional Encoding徹底解説：Sinusoidal（絶対位置）から相対位置エンコーディング

Transformerで使われているPositional EncodingであるSinusoidal Positional Encodingについて徹底的に解説してさらに、そこから相対位置エンコーディングへの橋渡しをこの記事では行う。なるべく直感的に、なぜこのような手法がとられるのか、なぜうまくいくのか、現時点での僕ができうる限り解説する。この記事を読めばInput Embeddingがどういう気持ちで何をやっているのかがわかることと思う。必要な前提知識は三角関数だけである。（線形代 ...

Multi-Head AttentionとScaled Dot-Product Attentionの全て：Transformerの核心を徹底解説

この記事では、Transformerの中心的な役割を果たすMulti-Head Attentionについて解説する。 Transformerのほかの機構の詳細な解説はせず、完全にMulti-Head Attention特化の解説となるので、ほかの機構や全体観を掴みたい方はこちらの記事をご一読いただきたい。この記事はまずはScaled Dot-Product AttentionというMulti-Head Attentionの中で使われている核心部分についてこれでもかと詳しく解説したのちに、本 ...

Transformerとは？世界を変えた深層学習モデルの仕組みをわかりやすく徹底解説

近年のAI技術の急激な発展には「Transformer」という深層学習モデルの存在が大きく関わっている。この記事では、そのTrasformerについてその仕組みとそれがなぜ組み込まれているかを画像をふんだんに使用して徹底的に解説している。必要な知識はなんと高校数学と行列の足し算、掛け算のみ！今後のAI社会において理解しておいて絶対に損はないので、ぜひ読んでほしい。 Transformerってなに？？ Transformerは、もともと機械翻訳の深層学習モデルとして2017年にGoogl ...

ソフトマックス（Softmax）関数とは：定義、特性、実装方法まで徹底解説

本記事は、Softmax関数に関する理解を深めたい方々を対象にしています。必要な前提知識は以下の通りです。基本的な数学知識（特に確率論と指数関数）ニューラルネットワークの基本概念 Pythonプログラミングの基礎機械学習における一般的な用語の理解この記事では、Softmax関数の定義からその性質、応用例、そして実際のコーディング方法に至るまでを段階的に解説しています。機械学習の分野における多クラス分類問題への理解を深めるための基礎的なガイドとして、本記事を活用いただければと思います。 &nbsp ...