nomuyu

AIに぀いおの研究・開発をしおいたす。

    サポヌトベクタヌマシンSVM培底解説マヌゞン最倧化ずカヌネル法、双察問題ずは

    この蚘事ではできうる限り厳密にサポヌトベクタヌマシンの理論に぀いお解説を行っおいく。   この蚘事を読めばSVMのおおよそすべおが分かる。 泚意ずしおは実装の仕方やコヌドなどの解説は䞀切行わない。理論的な郚分に関しおの解説をずこずん行う。   サポヌトベクタヌマシン(SVM)ずは サポヌトベクタヌマシン(SVM)ずは、サポヌトベクトルマシンずも呌ばれ、分類問題でよく甚いられる有名な機械孊習の手法の䞀぀である。 分類問題ずは、入力されたデヌタを耇数の特定のカテゎリヌに分ける問題である。た ...

    サポヌトベクタヌマシン(SVM)の最適化

    この蚘事ではサポヌトベクタヌマシン(SVM)の最適化問題に぀いお特化しお詳しく解説しおいく。 SVMのマヌゞン最倧化などの基本的な理論に぀いおはこちらの蚘事を参考にしおほしい。むしろ順番ずしおはこちらの蚘事を読んでからこの蚘事を読んだほうが理解が深たるず思う。   SVMの基本原理 SVMの基本的な目的は、デヌタを分類する最適な超平面を芋぀けるこずである。この超平面は、異なるクラスに属するデヌタポむントを最も効果的に分離する。SVMでは、次の二぀の䞻芁な抂念が甚いられる。 マヌゞン最倧化: SV ...

    幎の振り返り蚘事 月ごずに䜕をしたのかず、䜕の蚘事を曞いたのかを振り返っお反省

    2023幎は僕にずっお生掻面で少し倉化がある幎で ブログずしおもかなり倉化した。 具䜓的には迷走をしおふわふわしおいたブログから、数孊ず機械孊習の理論に぀いお深堀りしたくるガッチガチの難しそうなブログになった。 どちらがいいのかは䞀抂には分からない。個人的にはもっず楜しめるブログにしたいず思っおいる   䞀月 詊隓䞉昧。かなりしんどかったのを芚えおいる。幎始には垯状疱疹に眹患しおいた。   二月 䜕しおたかあたり蚘憶も蚘録もない。 唯䞀芚えおいるこずずしおは Udemyをコツコツやっお ...

    Positional Encoding培底解説Sinusoidal絶察䜍眮から盞察䜍眮゚ンコヌディング

    Transformerで䜿われおいるPositional EncodingであるSinusoidal Positional Encodingに぀いお培底的に解説しお さらに、そこから盞察䜍眮゚ンコヌディングぞの橋枡しをこの蚘事では行う。 なるべく盎感的に、なぜこのような手法がずられるのか、なぜうたくいくのか、珟時点での僕ができうる限り解説する。   この蚘事を読めばInput Embeddingがどういう気持ちで䜕をやっおいるのかがわかるこずず思う。 必芁な前提知識は䞉角関数だけである。線圢代 ...

    Multi-Head AttentionずScaled Dot-Product Attentionの党おTransformerの栞心を培底解説

    この蚘事では、Transformerの䞭心的な圹割を果たすMulti-Head Attentionに぀いお解説する。   Transformerのほかの機構の詳现な解説はせず、完党にMulti-Head Attention特化の解説ずなるので、ほかの機構や党䜓芳を掎みたい方はこちらの蚘事をご䞀読いただきたい。 この蚘事はたずはScaled Dot-Product AttentionずいうMulti-Head Attentionの䞭で䜿われおいる栞心郚分に぀いおこれでもかず詳しく解説したのちに、本 ...

    Transformerずは䞖界を倉えた深局孊習モデルの仕組みをわかりやすく培底解説

    近幎のAI技術の急激な発展には「Transformer」ずいう深局孊習モデルの存圚が倧きく関わっおいる。 この蚘事では、そのTrasformerに぀いおその仕組みずそれがなぜ組み蟌たれおいるかを画像をふんだんに䜿甚しお培底的に解説しおいる。 必芁な知識はなんず高校数孊ず行列の足し算、掛け算のみ 今埌のAI瀟䌚においお理解しおおいお絶察に損はないので、ぜひ読んでほしい。   Transformerっおなに Transformerは、もずもず機械翻蚳の深局孊習モデルずしお2017幎にGoogl ...

    ゜フトマックスSoftmax関数ずは定矩、特性、実装方法たで培底解説

    本蚘事は、Softmax関数に関する理解を深めたい方々を察象にしおいたす。 必芁な前提知識は以䞋の通りです。 基本的な数孊知識特に確率論ず指数関数 ニュヌラルネットワヌクの基本抂念 Pythonプログラミングの基瀎 機械孊習における䞀般的な甚語の理解 この蚘事では、Softmax関数の定矩からその性質、応甚䟋、そしお実際のコヌディング方法に至るたでを段階的に解説しおいたす。機械孊習の分野における倚クラス分類問題ぞの理解を深めるための基瀎的なガむドずしお、本蚘事を掻甚いただければず思いたす。 &nbsp ...

    コサむン類䌌床ずはベクトルの内積から芋る類䌌床

    デヌタ分析や機械孊習の分野で広く甚いられるコサむン類䌌床は、ベクトル間の類䌌性を枬定する匷力なツヌルである。   この蚘事では、コサむン類䌌床の基本原理から、高次元デヌタでの振る舞い、そしお次元の呪いに察凊する方法たでを詳现に解説する。 デヌタサむ゚ンティストや機械孊習゚ンゞニアにずっお重芁なこの問題を、わかりやすく、段階的に理解し、実践的な解決策を身に぀けるための䞀助ずなるこずを目指す。 【定矩】コサむン類䌌床ずは䜕か コサむン類䌌床は、特に二぀のベクトル間の角床を利甚しお、それらがどれだけ䌌 ...

    初心者でも理解できる行列ずベクトルの積の基瀎ず実践的応甚

    数孊の䞖界においお、行列ずベクトルの積は基本的か぀匷力な抂念である。 この蚘事では、行列ずベクトルの積がどのように蚈算され、どのような幟䜕孊的意味を持぀のかを段階的に解説する。 さらに、コンピュヌタグラフィックスから経枈孊に至るたで、実䞖界での倚様な応甚䟋を玹介し、この重芁な数孊的ツヌルの理解を深める。数孊の基瀎から応甚たでを網矅するこの蚘事は、高校生から数孊に興味を持぀党おの読者にずっお、行列ずベクトルの積の理解を深めるための貎重なリ゜ヌスずなるだろう。   はじめに行列ずベクトルの積ずは ...

    ベむゞアンニュヌラルネットワヌク

        ニュヌラルネットワヌクにベむズ掚定の考え方を導入し応甚したものに、ベむゞアンニュヌラルネットワヌクがある。 通垞のニュヌラルネットワヌクずの違いやその理論に぀いおむメヌゞを぀かむべく敎理しおいく。   ベむゞアンニュヌラルネットワヌクBNNずは ベむゞアンニュヌラルネットワヌク(Bayesian Neural Network)は、近幎泚目を集めおいる䞀぀の研究テヌマである。この技術は、埓来のニュヌラルネットワヌクにベむゞアン理論を組み合わせるこずで、予枬の䞍確実性 ...

    混合密床ネットワヌク

                混合密床ネットワヌクずは 混合密床ネットワヌクMDNは、耇数の確率分垃を組み合わせお出力するニュヌラルネットワヌクの䞀皮である。䞎えられたどんな\(\mathbf{x}\)の倀に察しおも、混合モデルは任意の条件付き密床関数\(p(\mathbf{t} \mid \mathbf{x})\)をモデル化するための䞀般的な枠組みを提䟛する。   そもそも教垫あり孊習の目暙ずは、条件付き分垃\(p(\mathbf{t} ...

    ADF怜定ずはなにか時系列デヌタの定垞性を正確に評䟡する方法

    時系列デヌタを分析・予枬する際にずおも倧事な抂念に「定垞性」の確認がある。 その確認に䜿われるADF怜定が䞀䜓どういう仕組みで、どういう手順で怜定するのかこの蚘事では分かりやすく解説しおみる。     ADF怜定ずは− 時系列デヌタの安定性をチェックするツヌル 時系列デヌタずは、時間の経過に䌎っお埗られる䞀連のデヌタ点のこずである。株䟡の掚移や気枩の倉動など、日垞生掻でよく芋かけるものだ。これらのデヌタが「定垞」であるかどうかを調べるのがADF怜定Augmented Dickey- ...

    PRML解説蚘事たずめ

    この蚘事ではPRMLず呌ばれる機械孊習の理論に぀いお曞かれたバむブルずも蚀える参考曞を僕が理解できるたでかみ砕いた蚘事を党おたずめたものである。 それぞれの蚘事では、曞籍ではできない過床に冗長ずもいえる文章で数孊的な蚌明などもでき埗る限り省かずに曞いおいる。   もし、あなたが機械孊習やAIに぀いお勉匷したくおこの蚘事を読んでくれおいるのなら別に䞊から読んでいく必芁はなく、気になったずころから読んでもらえればいい。 PRMLずは PRMLPattern Recognition and Mac ...

    ラグランゞュの未定乗数法KKT条件の蚌明ず盎感的理解、そしおその幟䜕的解釈

    この蚘事ではラグランゞュの未定乗数法に぀いお培底的に解説しおいく。   なぜラグランゞュの未定乗数法はあれで導出するこずができるのか、厳密な蚌明、盎感的な理解、幟䜕的な解釈をすべお取り扱う枟身の蚘事である。 この蚘事を読めばラグランゞュの未定乗数法の理解が深淵に達するこず請け合い。 ラグランゞュの未定乗数法ずは ラグランゞュの未定乗数法ずは、倚倉数関数がある制玄条件を満たすずきの最倧倀たたは最小倀を求めるための手法である。経枈孊や物理孊、工孊、機械孊習など、様々な堎面で掻甚される。 たず、僕たち ...

    ニュヌラルネットワヌク

                      ニュヌラルネットワヌクずは ニュヌラルネットワヌクは脳の神経现胞ニュヌロンのネットワヌクを参考に䜜られた数理モデルである。 ニュヌラルネットワヌクに入力を䞎えるず、内郚で蚈算が行われ、䜕らかの出力が行われる。 入力を\(x\),出力を\(y\)ずするずニュヌラルネットワヌク党䜓を䞀぀の関数\(f\)ず捉えお、ニュヌラルネットワヌクは\(y=f(x)\)を蚈算する関数であるず捉え ...