アルゴリズムの設計とは、与えられた問題を解決するための手続き・手順を考案し、それを正しく効率的に実行できるように組み立てる作業のことです。具体的には、入力（問題のデータ）と出力（結果）との間に、どのようなステップを踏めば解が得られるかを体系的に示し、それを計算機（あるいは人間）が順序通りに実行できるように定義することを指します。 アルゴリズムの「性能」を評価するためには、以下のような観点が重要です。 正しさ：アルゴリズムが意図したとおりに動作し、正しい結果を返すかどうか。 実行時間：アルゴリズムを動かした ...

「アルゴリズム」という言葉は、一言でいえば「何らかの問題を解決するための、手順や処理のしかたの明確な規則」を指す。たとえば「ある数列の中から目的の数を探し出す」「複数のデータを並び替える（ソートする）」「複雑な数値計算を行う」「パズルを解く手順を機械的に表す」といった事柄はすべてアルゴリズムの一例となる。 アルゴリズムには必ず、 入力（処理の対象となるデータ、問題設定） 出力（得られる結果） 明確かつ有限回のステップによる手順 が存在する。たとえば「レシピ」や「数学の定理の証明における一連のステップ」も、 ...

皆さん、こんにちは！今日は情報幾何という分野に出てくる「アフィン接続」という考え方を、できるだけ丁寧に解説していきます。 まずは、身近な例から考えてみましょう。例えば、地球儀のような曲面の上に、アリがチョークで線を引くことを想像してみてください。アリにとっての「まっすぐな線」って、どういうものでしょうか？ 地球儀の上では、普通の定規で引いたような線は「まっすぐ」ではありませんよね。 実は、この「まっすぐ」という考え方が、アフィン接続と深く関わっているんです。   ベクトル空間と多様体：舞台設定 ...

  オートエンコーダーの基本概念 オートエンコーダー( Autoencoder )は、入力データをコンパクトな表現（潜在表現）へと圧縮し、その後、圧縮した情報から元のデータを復元することを学習するニューラルネットワークの一種です。具体的には、ある入力ベクトル $$ \mathbf{x} \in \mathbb{R}^D $$   を与えると、オートエンコーダーはまずエンコーダ(Encoder)によって \(\mathbf{x}\) を低次元の潜在表現 \(\mathbf{z} \in ...

TransformerとはGPTなど広く使われるAIモデルで、もともとは自然言語処理の機械翻訳の分野において提案されたEncoderとDecoderからなる深層学習モデルです。こちらの記事ではTransformerやMulti-Head Attentionに関する詳しい解説をしています。ぜひご覧ください。 Transformerは「Attention機構」を用いることで、入力系列中の遠距離にある各単語間の関連性を捉えることができます。 このような特性を実現させるのが「Scaled Dot-Product ...

  最適輸送問題とシンクホーンアルゴリズム 最適輸送問題とは、物理学や経済学などの分野で長い歴史を持つ数理的な問題です。この問題は、ある場所に存在する物資を別の場所に運ぶ際の最適な方法を探求します。具体的には、物資を運ぶためのコストを最小化する方法を見つけることを目的としています。 この記事でも定式化していますが、最適輸送は重み付き点群を輸送コストをもとに比較するツールです。 点群Aと点群Bの違い、距離を求めるものです。これの定式化は以下です。 しかしこれにはいくつか短所があります。 中でも、問 ...

皆さん、こんにちは！今日は情報幾何という分野に出てくる「アフィン接続」という考え方を、できるだけ丁寧に解説していきます。 まずは、身近な例から考えてみましょう。例えば、地球儀のような曲面の上に、アリがチョークで線を引くことを想像してみてください。アリにとっての「まっすぐな線」って、どういうものでしょうか？ 地球儀の上では、普通の定規で引いたような線は「まっすぐ」ではありませんよね。 実は、この「まっすぐ」という考え方が、アフィン接続と深く関わっているんです。   ベクトル空間と多様体：舞台設定 ...

  あるところに、これから合コンする予定の男子A,B,Cの３人がいました。 彼らは仲が良く、合コンで狙う女子が被って喧嘩にならないように事前にとある約束をしました。なぜならば合コン中に男子同士で喧嘩するのはみっともないからです。   ある程度場が進んだら、自分の箸を狙っている女子に向け、男子にだけその人が狙っている女の子がわかるようにしました。   そして、その時がやってきました。相対する女子はX,Y,Zの三人 C君はXちゃんに揃えた箸を向けました。 B君は決めかねたのか、Y ...

二部グラフ \(G=(V, U, E)\) が森であるならぱ、 \(|E| \leq|V|+|U|-1\) という不等式が成り立つ理由を説明 します。ここで、森とは閉路を含まないグラフを指します。   まず、基本的なグラフ理論の概念について確認しましょう。   グラフ理論の確認 1. 木と森の定義: ・木: 閉路を持たない連結なグラフ。 ・森: 閉路を持たないグラフ（つまり、複数の木の集合）。 2. 二部グラフ: ・グラフ \(G=(V, U, E)\) が二部グラフである場合、頂点集 ...

テンソル場を理解するのに必要な知識は、 双対空間（双対基底） テンソル です。 ささっと復習してテンソル場の定義、性質をこの記事で理解します。   この線形空間\(V\)とその双対空間\(V^*\)をそれぞれ\(s\)個、\(r\)個ずつ直積してできるベクトル空間を\((r,s)\)型テンソル空間と呼びます。       テンソル場 多様体\(M\)の各点にテンソルを割り当てたテンソル場というものを考えましょう。 ３つ以上のテンソル場のテンソル積も同様です。 &nb ...

GANなどの生成モデルで使われるようになりたびたび聞くことも増えたワッサースタイン(Wasserstein)距離というものを解説します。 ワッサースタイン距離というのは一言でいうと、確率分布間を測る距離の一つです。 この記事では離散確率分布に対するワッサースタイン距離の定義とそれが距離の公理を満たすことを証明します。   最適輸送問題とは 最適輸送問題は、物理学や経済学などの分野で長い歴史を持つ数理的な問題です。この問題は、ある場所に存在する物資を別の場所に運ぶ際の最適な方法を探求します。具体的 ...

この記事では多様体とは何か、どうしてそんな概念が生まれたのかを考えていきます。   最初に多様体とは何なのかを一言で言うなら「なんだかよくわからないものを自分の土俵に持ち込み理解するための概念」です。 なのでこれからこの記事で展開されていく考え方は「宇宙」や「情報」など人類がその全貌を理解していない、認識できないようなものを人類がこれまで築いてきた数学を使っていろいろしたーい！　という願いをかなえてくれる（かもしれない）ものの基礎です。   いきなり厳密にあれこれ考えるのではなく、まず ...

※この記事はnoteに公開している「本気で結果を出したい人のための暗記法完全マニュアル」とほぼ同じものです。すでに購入されたことがある方はご注意ください。 まず最初に暗記、すなわちインプットを正確に行うことの爆発力についてご紹介したいと思います。 暗記というと「暗」という字があるだけあって「めんどくさい」などの暗いネガティブなイメージを持ちがちですが 暗記によって得られる効果は絶大です。 それは圧倒的な時間の短縮です。 皆さん経験があると思いますが、「知っている」のと「知らない」のとでは成果とその時間に差 ...

今回は、勉強の基本中の基本であり本質である 「思い出す」ということについて徹底的に掘り下げてみようと思う。   長い長い勉強生活において僕が得た知見をなるべく整理してみるので、勉強で成果を出したいと思っている人は是非一読してもらいたい。   「思い出す」ことが勉強の本質 僕は個人的に「思い出す」という作業が反復・復習の本質だと本気で思っている。 思い出すという作業は、脳に負荷がかかり、脳が苦労して、過去の記憶から思い出したい内容をサルベージしてくることで記憶が強固になっていくのだ &n ...

参考書・問題集選びって迷いますよね。 実際僕も悩みに悩んであっちこっちの参考書に手を出しまくっていた時期がありました。 やっていない本があると不安になるんですよね。 ですが、今ならわかります。 物理は特に一冊の参考書をしっかりやった方が成績が上がります。   この記事では皆さんの参考書選びの一助になれるように この経験を踏まえたおすすめの物理の参考書を五つに絞って紹介したいと思います。     ※この記事の内容は全て個人的な所感によるものということをご理解ください 物理の勉強 ...

先日、こちらの記事のコメントにて 「論理の起点のパターンを見せてほしい」 というご希望があったので、すこし「論理の起点」について深堀りしたいと思います。 たしかに、ただ「論理の起点」「いつ使うか」だけでは、まだ結局どう使えばいいねん。 となってしまうと思われる方もいるかもしれませんので、数学を例に具体例を交えて解説したいと思います   論理の起点とは 論理の起点とは、インプットの際に意識するべき三要素の最終段階 「そのインプットした内容がいつ使えるものなのか」までセットで覚えてしまおうという考え ...

学校の先生やら塾の講師やらは散々言いますよね   「復習せい」と   もう耳タコで、頭では分かっているんです。   ですが、受験が近づくにつれ、勉強する量しなければいけない量が増えていくほど過去の勉強、つまり復習に手が回らなくなりがちで そもそも何回復習すれば良いのか、一定の回数復習しなければいけないとしてそのタイミングをスケジューリングしている時間がそもそももったいなくね？？？   みたいな悩みってあるあるだと勝手に思ってるんです。   例にもれず僕も散 ...

いきなりですが やる気の差というのは受験において本当に大きなものです。 皆さんがこれから今以上に学力、偏差値を上げたいのであればモチベーションの維持には細心の注意を払う必要があります。   しかしこの記事を読んでくださっている方の中には という方もいると思います。   実際、私も何度もやる気が出ずらかったことがあります。具体的には ・高校一年、二年のとき ・受験生、浪人生の春と秋 この時期は特に勉強のやる気が出ずらいと思います。この記事を読んでいる方にも心当たりある方もいるかもしれませ ...