時系列分析

Positional Encoding徹底解説：Sinusoidal（絶対位置）から相対位置エンコーディング

Transformerで使われているPositional EncodingであるSinusoidal Positional Encodingについて徹底的に解説してさらに、そこから相対位置エンコーディングへの橋渡しをこの記事では行う。なるべく直感的に、なぜこのような手法がとられるのか、なぜうまくいくのか、現時点での僕ができうる限り解説する。この記事を読めばInput Embeddingがどういう気持ちで何をやっているのかがわかることと思う。必要な前提知識は三角関数だけである。（線形代 ...

Multi-Head AttentionとScaled Dot-Product Attentionの全て：Transformerの核心を徹底解説

この記事では、Transformerの中心的な役割を果たすMulti-Head Attentionについて解説する。 Transformerのほかの機構の詳細な解説はせず、完全にMulti-Head Attention特化の解説となるので、ほかの機構や全体観を掴みたい方はこちらの記事をご一読いただきたい。この記事はまずはScaled Dot-Product AttentionというMulti-Head Attentionの中で使われている核心部分についてこれでもかと詳しく解説したのちに、本 ...

Transformerとは？世界を変えた深層学習モデルの仕組みをわかりやすく徹底解説

近年のAI技術の急激な発展には「Transformer」という深層学習モデルの存在が大きく関わっている。この記事では、そのTrasformerについてその仕組みとそれがなぜ組み込まれているかを画像をふんだんに使用して徹底的に解説している。必要な知識はなんと高校数学と行列の足し算、掛け算のみ！今後のAI社会において理解しておいて絶対に損はないので、ぜひ読んでほしい。 Transformerってなに？？ Transformerは、もともと機械翻訳の深層学習モデルとして2017年にGoogl ...

ADF検定とはなにか？時系列データの定常性を正確に評価する方法

時系列データを分析・予測する際にとても大事な概念に「定常性」の確認がある。その確認に使われるADF検定が一体どういう仕組みで、どういう手順で検定するのかこの記事では分かりやすく解説してみる。 ADF検定とは？− 時系列データの安定性をチェックするツール時系列データとは、時間の経過に伴って得られる一連のデータ点のことである。株価の推移や気温の変動など、日常生活でよく見かけるものだ。これらのデータが「定常」であるかどうかを調べるのがADF検定（Augmented Dickey- ...