機械学習

単回帰と重回帰を題材に、損失関数、最小二乗法、正規方程式を数式から導出します。

凸集合・凸関数の性質を確認し、最急降下法や確率的勾配降下法による最適化を解説します。

二値分類と多クラス分類を、ロジスティック回帰、Softmax、交差エントロピーから整理します。

マージン最大化からSVMを導出し、双対問題、ソフトマージン、カーネルトリックまで解説します。

k-means法などの非階層的クラスタリングを、目的関数とアルゴリズムの両面から説明します。

クラスタ間距離とデンドログラムを用いて、凝集型の階層的クラスタリングを解説します。

分散最大化と再構成誤差最小化の観点から、主成分分析と固有値問題の関係を導出します。

尤度と対数尤度を定義し、代表的な確率分布、最尤推定、KLダイバージェンスを整理します。

ニューロンと活性化関数から始め、逆伝播、最適化、Batch Normalization、正則化まで導出します。

局所受容野、畳み込み、Padding、img2col、畳み込み層の逆伝播を図と添字から解説します。

系列データを扱うRNNの課題を確認し、LSTMのゲート構造と計算を数式で説明します。

Scaled Dot-Product AttentionからMulti-Head Attention、Transformerの構造まで解説します。

生成モデルの目的を確率分布から整理し、VAE、GAN、自己回帰モデル、拡散モデルを解説します。

データから教師信号を作る自己教師あり学習について、主要な事前学習タスクと考え方を整理します。

生成品質と多様性を評価するInception Score、FID、KIDなどの指標を数式から解説します。

連続・離散時間の状態空間モデルからSelective SSM、Mamba-1のprefix scanとハードウェア指向実装、Mamba-2の状態空間双対性まで数式で解説します。

線形AttentionとDelta Ruleから出発し、ゲートを加えたGated Delta Netの漸化式とブロック構造を数式と図で解説します。

機械学習で用いるベクトル、行列、微分、確率などの数学を定義と計算例から整理します。

ヒルベルト空間と再生性を定義し、カーネル関数と再生核ヒルベルト空間の関係を解説します。