数式で学ぶ機械学習・深層学習
線形回帰から最尤推定、ニューラルネットワーク、Transformer、生成モデルまで、機械学習を数式・定義・導出・図解とともに体系的に学べる日本語ノートです。
記事一覧
1. 線形回帰分析
単回帰と重回帰を題材に、損失関数、最小二乗法、正規方程式を数式から導出します。
Article2. 凸性と勾配法
凸集合・凸関数の性質を確認し、最急降下法や確率的勾配降下法による最適化を解説します。
Article3. 線形分類
二値分類と多クラス分類を、ロジスティック回帰、Softmax、交差エントロピーから整理します。
Article4. サポートベクトルマシン
マージン最大化からSVMを導出し、双対問題、ソフトマージン、カーネルトリックまで解説します。
Article5. 非階層的クラスタリング
k-means法などの非階層的クラスタリングを、目的関数とアルゴリズムの両面から説明します。
Article6. 階層的クラスタリング
クラスタ間距離とデンドログラムを用いて、凝集型の階層的クラスタリングを解説します。
Article7. 主成分分析
分散最大化と再構成誤差最小化の観点から、主成分分析と固有値問題の関係を導出します。
Article8. 最尤推定と確率モデル
尤度と対数尤度を定義し、代表的な確率分布、最尤推定、KLダイバージェンスを整理します。
Article9. 多層パーセプトロン
ニューロンと活性化関数から始め、逆伝播、最適化、Batch Normalization、正則化まで導出します。
Article10. 畳み込みニューラルネットワーク
局所受容野、畳み込み、Padding、img2col、畳み込み層の逆伝播を図と添字から解説します。
Article11. 系列モデルとLSTM
系列データを扱うRNNの課題を確認し、LSTMのゲート構造と計算を数式で説明します。
Article12. 注意機構とTransformer
Scaled Dot-Product AttentionからMulti-Head Attention、Transformerの構造まで解説します。
Article13. 生成モデル
生成モデルの目的を確率分布から整理し、VAE、GAN、自己回帰モデル、拡散モデルを解説します。
Article14. 自己教師あり学習
データから教師信号を作る自己教師あり学習について、主要な事前学習タスクと考え方を整理します。
Article15. 生成モデルの評価指標
生成品質と多様性を評価するInception Score、FID、KIDなどの指標を数式から解説します。
ArticleA.1 数学
機械学習で用いるベクトル、行列、微分、確率などの数学を定義と計算例から整理します。
ArticleA.3 カーネル法と再生核ヒルベルト空間
ヒルベルト空間と再生性を定義し、カーネル関数と再生核ヒルベルト空間の関係を解説します。