自然言語処理

TransformerのAttentionの線形化による計算量削減【Linear Transformer】

TransformerとはGPTなど広く使われるAIモデルで、もともとは自然言語処理の機械翻訳の分野において提案されたEncoderとDecoderからなる深層学習モデルです。こちらの記事ではTransformerやMulti-Head Attentionに関する詳しい解説をしています。ぜひご覧ください。 Transformerは「Attention機構」を用いることで、入力系列中の遠距離にある各単語間の関連性を捉えることができます。このような特性を実現させるのが「Scaled Dot-Product ...

Positional Encoding徹底解説：Sinusoidal（絶対位置）から相対位置エンコーディング

Transformerで使われているPositional EncodingであるSinusoidal Positional Encodingについて徹底的に解説してさらに、そこから相対位置エンコーディングへの橋渡しをこの記事では行う。なるべく直感的に、なぜこのような手法がとられるのか、なぜうまくいくのか、現時点での僕ができうる限り解説する。この記事を読めばInput Embeddingがどういう気持ちで何をやっているのかがわかることと思う。必要な前提知識は三角関数だけである。（線形代 ...

Multi-Head AttentionとScaled Dot-Product Attentionの全て：Transformerの核心を徹底解説

この記事では、Transformerの中心的な役割を果たすMulti-Head Attentionについて解説する。 Transformerのほかの機構の詳細な解説はせず、完全にMulti-Head Attention特化の解説となるので、ほかの機構や全体観を掴みたい方はこちらの記事をご一読いただきたい。この記事はまずはScaled Dot-Product AttentionというMulti-Head Attentionの中で使われている核心部分についてこれでもかと詳しく解説したのちに、本 ...

Transformerとは？世界を変えた深層学習モデルの仕組みをわかりやすく徹底解説

近年のAI技術の急激な発展には「Transformer」という深層学習モデルの存在が大きく関わっている。この記事では、そのTrasformerについてその仕組みとそれがなぜ組み込まれているかを画像をふんだんに使用して徹底的に解説している。必要な知識はなんと高校数学と行列の足し算、掛け算のみ！今後のAI社会において理解しておいて絶対に損はないので、ぜひ読んでほしい。 Transformerってなに？？ Transformerは、もともと機械翻訳の深層学習モデルとして2017年にGoogl ...

コサイン類似度とは？ベクトルの内積から見る類似度

データ分析や機械学習の分野で広く用いられるコサイン類似度は、ベクトル間の類似性を測定する強力なツールである。この記事では、コサイン類似度の基本原理から、高次元データでの振る舞い、そして次元の呪いに対処する方法までを詳細に解説する。データサイエンティストや機械学習エンジニアにとって重要なこの問題を、わかりやすく、段階的に理解し、実践的な解決策を身につけるための一助となることを目指す。【定義】コサイン類似度とは何かコサイン類似度は、特に二つのベクトル間の角度を利用して、それらがどれだけ似 ...