2023年は僕にとって生活面で少し変化がある年で
ブログとしてもかなり変化した。
具体的には迷走をしてふわふわしていたブログから、数学と機械学習の理論について深堀りしまくるガッチガチの難しそうなブログになった。
どちらがいいのかは一概には分からない。個人的にはもっと楽しめるブログにしたいと思っている
一月
試験三昧。かなりしんどかったのを覚えている。年始には帯状疱疹に罹患していた。
二月
何してたかあまり記憶も記録もない。
唯一覚えていることとしては
Udemyをコツコツやっていた。
これと
これと
これと
これをやっていた。
そして最後の講座と関連して
この本をやった。
ここでやったことは今後に、特に異常検知関連は３月に行うことと関連している。
あ、あとVRChatを初めてプレイした。
始めたはいいものの誰にも話しかけることができずにきょろきょろしていることしかできない僕に話しかけてくれる優しいVRChat玄人の方々に案内してもらったのがうれしかった。
「今なら引き返せる。VRchatはやめた方がいい」と言われたのが印象的だった。
因みにほんとにそれ以来行っていない。
三月
この月はあほみたいに遊んでいた。
スキーに行ったり
山に登ったり
ゴルフして風邪ひいたり
下呂温泉で無理やり風邪を治したり
羽田空港でやってるDJイベントに行くなどした。
え？なにこの月？書いてる自分も驚くくらい遊んでいた。一月とかの反動なのかもしれない。
あと三月と言えば、会社用に異常検知の試作プログラムを作成した。
製造したウレタンに気泡が入っているかいないかカメラで検知する仕組みのものだった。
精度を上げるのもそうだが、実際の製造ラインで使うにはそれだけではいけない。仮に異常だとして「異常です」とプリントスクリーンするだけではだめなのだ。
それを考えるのが難しかった。
書いた記事
-
Convolutional AutoEncoderで異常データを学習に使わない異常検知システム作ってみた＾＾
人間生きていると誰しも異常検知をしたいときが突然来るものである。とある製品に光を当てて一定数以上エアポケットが出てしまった場合に異常を検知したいときが誰しも来る。 今回はい ...
続きを見る
四月
四月からこの「パターン認識と機械学習」という参考書を読み始めた。僕にとって2023年という年はこの本が大きなウェイトを占めている。
-
PRML解説記事まとめ
この記事ではPRMLと呼ばれる機械学習の理論について書かれたバイブルとも言える参考書を僕が理解できるまでかみ砕いた記事を全てまとめたものである。 それぞれの記事では、書籍ではできない過度に冗長ともいえ ...
続きを見る
書いた記事
ここからこのブログにて、この参考書を軸にAI・機械学習に関する記事を書いていくことになる。そのためこの参考書は擦り切れるくらい何度も精読し、なるべく厳密に腑に落ちるまで理解してから、それを記事として投稿した。
-
【画像処理】画像を滑らかに！ガウシアンフィルタの仕組みと計算式
画像処理の世界では、さまざまなフィルタが存在し、それぞれ特定の目的のために利用されている。 今回は、画像を滑らかにするガウシアンフィルタについて、その原理や計算式、実際に計算する際の具体的な流れを解説 ...
続きを見る
-
そもそも機械学習ってなんだ？手書き数字認識でわかる機械学習の種類と分類
昨今AIの隆盛、発展は著しく、AIや機械学習というものに興味がある人も増えていることと思う。 もうすでに組みあがったAIモデルやAIサービスを利用するのも面白いのだが、なぜAIが成り立っているのか、ど ...
続きを見る
-
多項式曲線フィッティング入門！過学習を回避するL1/L2正則化に迫る！
最近のデータ解析や機械学習の分野で重要な役割を果たす多項式曲線フィッティング。 これは機械学習の基礎の基礎となる内容が詰め込まれており勉強になる。 その基本的な理解を深め、適切なモデル選択がいかに重要 ...
続きを見る
-
機械学習で使う確率論の基礎、確率の加法・乗法定理、ベイズの定理など
今回の記事は確率論の基礎を語る。 パターン認識の分野において非常に重要な概念が不確実性である。それは計測ノイズやデータ集合のサイズが有限だからであった。 確率論によって不確実性に関する定量化と操作をす ...
続きを見る
-
【確率論】頻度主義とベイズ主義、尤度関数の最大化したい理由を解説【機械学習】
さていよいよベイズ確率に入っていく。 今回の記事ではこれまで見てきた一般的な確率とベイズ確率がどのように違うのか、そして尤度関数の最大化という視点がなぜ必要なのかを見ていく。 ベイズ確率は機械学習を学 ...
続きを見る
-
一次元ガウス分布徹底解説～いろんな性質とその証明、不偏推定量～
この記事では、ガウス分布というデータ解析の基本となる確率分布を解説していく。 実は、ガウス分布は自然界にもたくさん出てくるので、それを理解することで現象をより深く理解することができるのだ ...
続きを見る
この重さの記事を一か月に６つも投稿するなんてなかなか頑張ったのでは？
さらに、夏に行われる大学院入試に向けてTOEFLの試験を受けた。
五月
ともすると、一番頑張った月かもしれない五月
この月は、６月の頭に行われる学祭のためのコンテンツとしてGPT4を用いた対話できるAIを作成した。
「アルゴちゃん」という娘でかなりの難産だった。
どうしたら応答速度が速くなるのか、どうしたらPythonとUnityで相互にリアルタイム通信できるのか、どうしたらUnityからVOICEVOXで音声を再生させるのか、どうしたら瞬きや口パクが実装できるのか
そしてなにより、記憶をどのように実装するのか。
これをたった一か月で実装し、人に見せれるレベルまで昇華させた。
正直結構自信がついた。
書いた記事
-
確率論を使った多項式曲線フィッティングの流れを段階的に徹底解説する【ベイズ】
本記事では、データ解析の基本となる曲線フィッティングを、確率論を用いて理解するための解説を行っている。 最尤推定やベイズの定理を駆使し、パラメータ推定から予測分布の計算までを、そもそもなぜ最尤推定をし ...
続きを見る
-
離散確率・事前共役分布徹底解説 ベルヌーイ分布、二項分布、カテゴリ分布、多項分布、ベータ分布、ディリクレ分布
この記事では、様々な機械学習アルゴリズムを構築するためのパーツとなる各種基本的な確率分布の定義と、その用途や性質を解説する。 非常にヘビーな記事で文字数にして三万文字近くある。 めちゃめ ...
続きを見る
-
マハラノビス距離ってなに？多次元のガウス分布（正規分布）の座標変換で分かるその本質【深奥】
というところがこの記事の内容である。 ガウス分布も機械学習、統計を学ぶ上で避けては通れないビックな項目なのでゆっくりとやっていこう。 この記事では主に一次元のガウス分布の性質について触れ ...
続きを見る
六月
この月は頭に学祭があり、それ以降は大学院の入試に向けての勉強と、ラグランジュの未定乗数法の記事を書いていた。
ラグランジュの未定乗数法の記事は2023年の中でもトップクラスに力を入れた記事で、完成に約二か月の時間が掛かっている。
そして、この河川敷で野球をした。ここ数年はコロナだ浪人だで、外に出て体を動かすということをしていなかったのでとても楽しかった。逆にそれ以来していない。
書いた記事
-
指数型分布族ってなに？定義とその性質、多項分布やガウス分布ってほんとに指数型分布？？
「指数型分布族」、聞いたことはあるけれど、具体的に何を指すのか、どのような特性を持つのか、そしてなぜ重要なのか。 そんな疑問を持つ方々へ、この記事は一つ一つ丁寧に解き明かしていく。 ベル ...
続きを見る
-
ノンパラメトリックな方法を活用したデータの解析：ヒストグラムからK近傍法、カーネル推定まで
データ解析において一般的なのは、パラメータを事前に設定しデータを用いてそのパラメータを最適化していくという方法である。 しかし、実際にはそれだけでなく、パラメータに依存しない方法も存在する。それがノン ...
続きを見る
七月
七月は来月に控える大学院入試に向けての勉強と、PRMLの勉強をしていた。
それ以外はなーんにもしていない。本当に２０２３年の七月が存在していたのかどうかも怪しい。
書いた記事
-
経験ベイズってなに？線形回帰モデルをベイズ的に扱うための近似とエビデンス関数
エビデンス近似 僕たちが統計的な問題を解くとき、大抵は何かを予測したり、何かのパターンを見つけたりしたいわけで、これを達成するために、僕たちは通常、データに適合するようなモデルを構築する ...
続きを見る
-
本気で結果を出したい人のための「暗記法」完全マニュアル
※この記事はnoteに公開している「本気で結果を出したい人のための暗記法完全マニュアル」とほぼ同じものです。すでに購入されたことがある方はご注意ください。 まず最初に暗記、すなわちインプットを正確に行 ...
続きを見る
-
【線形分類モデル】識別関数によって線形的に多クラス分類！！最小二乗法とその弱点とは…
ここでは線形的にクラス分類することを考える。 前提知識 最初に分類問題の前提知識をまとめておこう。 まず、「決定領域」について。分類問題とは、一言で言えば、与えられたデータ ...
続きを見る
八月
この月はこの年の一大行事である大学院入試が行われるのだが、その直前に風邪をひいてしまったのを覚えている。
それでも入試自体はなんとかなったのでセーフセーフ
そして、沖縄に家族で旅行しに行った。どうして沖縄なのかというとこの年はバスケットボールのワールドカップが沖縄で開かれ、そのチケットが手に入ったので見に行ったのだが、ここで見に行った日本代表対フィンランド代表の試合が歴史的な名勝負で、この試合を現地で観戦できたのは本当に幸せだった。
この年はWBC、バスケとバレーとラグビーのワールドカップ、スポーツが激熱すぎる一年だった。特にWBCの準決勝メキシコ対日本の村上のセンターオーバーは正直、あのイチローのセンターオーバーよりも感動した。
書いた記事
-
ニューラルネットワーク１
ニューラルネットワークとは ニューラルネットワークは脳の神経細胞（ニューロ ...
続きを見る
-
ラグランジュの未定乗数法（KKT条件）の証明と直感的理解、そしてその幾何的解釈
この記事ではラグランジュの未定乗数法について徹底的に解説していく。 なぜラグランジュの未定乗数法はあれで導出することができるのか、厳密な証明、直感的な理解、幾何的な解釈をすべて取り扱う渾 ...
続きを見る
九月
九月に行った大きなコンテンツとして松尾研のサマースクール「大規模言語モデル」と「金融市場取引と機械学習」がある。
この月はこの二つの講座を同時に受講したのでてんてこまいになりながらこなしていた。どちらもすごくためになった。
書いた記事
-
PRML解説記事まとめ
この記事ではPRMLと呼ばれる機械学習の理論について書かれたバイブルとも言える参考書を僕が理解できるまでかみ砕いた記事を全てまとめたものである。 それぞれの記事では、書籍ではできない過度に冗長ともいえ ...
続きを見る
-
ADF検定とはなにか？時系列データの定常性を正確に評価する方法
時系列データを分析・予測する際にとても大事な概念に「定常性」の確認がある。 その確認に使われるADF検定が一体どういう仕組みで、どういう手順で検定するのかこの記事では分かりやすく解説してみる。 &nb ...
続きを見る
十月
十月からTransformerという深層学習AIモデルについて勉強し始める。
それとは関係は別にないが、最強スペックのパソコンを購入した。
4090だのメモリは128GBだの、ハードディスクは20TBだの化け物級の性能を誇る。しかし、まったくその性能を使いきれない上に一か月後かなりしっかり目に壊れる。
あ、あとこの月は小樽と余市に旅行に出かけた。
書いた記事
-
混合密度ネットワーク
混合密度ネットワークとは 混合密度ネットワーク（MDN）は、複数の確率分布を組み合わせて出力するニューラルネットワー ...
続きを見る
-
ベイジアンニューラルネットワーク
ニューラルネットワークにベイズ推定の考え方を導入し応用したものに、ベイジアンニューラルネットワークがある。 通常のニューラルネットワークとの違いやその理論についてイメージを ...
続きを見る
十一月
この月は引き続きTransformerについての勉強を必死こいてしていた。上のDJライブに行った時の画像のせいでなんの説得力もないかもしれないが、必死こいてTransformerの理論的なことを勉強し、それを解説した記事をずっと書いていた。
この月に投稿した記事はそのTransformerの解説のために必要な前提知識をまとめたものだった。
書いた記事
-
初心者でも理解できる！行列とベクトルの積の基礎と実践的応用
数学の世界において、行列とベクトルの積は基本的かつ強力な概念である。 この記事では、行列とベクトルの積がどのように計算され、どのような幾何学的意味を持つのかを段階的に解説する。 さらに、コンピュータグ ...
続きを見る
-
コサイン類似度とは？ベクトルの内積から見る類似度
データ分析や機械学習の分野で広く用いられるコサイン類似度は、ベクトル間の類似性を測定する強力なツールである。 この記事では、コサイン類似度の基本原理から、高次元データでの振る舞い、そして ...
続きを見る
-
ソフトマックス（Softmax）関数とは：定義、特性、実装方法まで徹底解説
本記事は、Softmax関数に関する理解を深めたい方々を対象にしています。 必要な前提知識は以下の通りです。 基本的な数学知識（特に確率論と指数関数） ニューラルネットワークの基本概念 Pythonプ ...
続きを見る
十二月
この月はTransformerの記事をブラッシュアップするのに使った。
書いた記事
-
Transformerとは？世界を変えた深層学習モデルの仕組みをわかりやすく徹底解説
近年のAI技術の急激な発展には「Transformer」という深層学習モデルの存在が大きく関わっている。 この記事では、そのTrasformerについてその仕組みとそれがなぜ組み込まれているかを画像を ...
続きを見る
-
Multi-Head AttentionとScaled Dot-Product Attentionの全て：Transformerの核心を徹底解説
この記事では、Transformerの中心的な役割を果たすMulti-Head Attentionについて解説する。 Transformerのほかの機構の詳細な解説はせず、完全にMult ...
続きを見る
-
Positional Encoding徹底解説：Sinusoidal（絶対位置）から相対位置エンコーディング
Transformerで使われているPositional EncodingであるSinusoidal Positional Encodingについて徹底的に解説して さらに、そこから相対位置エンコーデ ...
続きを見る
-
量子コンピュータ入門：基礎から始める量子コンピューティングの世界
今回から量子コンピュータ関連のシリーズを連載していきます。 このシリーズでは数回にわたって、量子コンピュータの基礎的な部分や美味しい部分を解説していきます。 来る量子コンピュータ時代に向けて私と一緒に ...
続きを見る
-
量子コンピュータのための量子論基礎【一体系篇】
こんにちは皆さん、量子コンピュータシリーズ第２弾です。 前回は量子コンピュータの概要について見ました。 今回の記事では、より詳しく量子コンピュータを理解するために必要な最小限の数学と量子論を学んでいこ ...
続きを見る
ブログ
| 書いた記事数 | 29 |
| 書いた文字数 | 386877 |
一記事あたり平均一万文字以上の記事を３０本近く投稿したのに、ブログのPV自体はそんなに成長していない。
１０月あたりにGoogleのコアアップデートがあり、個人サイトに厳しくなったという噂もあるのでしょうがないという意見もある。
それにしても一記事あたりの文字数が多すぎるのでもっと分けてもいいと思った。正直検索して記事にたどり着いた読者視点で考えると、そんな文字量の記事をどっしり構えて読むか？と言われたら、普通に考えて読まないのでもっと短くして一記事一情報を意識してもいいのかもなと思っている。
まとめ
こうまとめて振り返ってみると、意外とどっか行ってたりしてることと、まだいろいろやれたなってことを思った。
２０２４年からはもっといろいろやるべきだと思った。