自己教師あり学習
自己教師あり学習（Self-Supervised Learning）は、データから自己生成したラベルを用いてモデルを学習する手法である。 本来、人間が教師データに対してラベルをアノテーションする必要があるが、自己教師あり学習では、データの一部を隠す、変換する、または順序を入れ替えるなどの方法で、モデルが予測すべきタスクを自動的に生成する。これにより、大量の未ラベルデータを活用して表現学習や特徴抽出を行うことができる。代表的なものに Generative Self-Supervised Learning と Contrastive Self-Supervised Learning の二種類がある。
生成的自己教師あり学習
生成的自己教師あり学習（Generative Self-Supervised Learning）は、モデルが入力データの一部を予測するタスクを通じて学習する手法である。データ
の一部を隠す、変換する、または順序を入れ替えるなどの方法で、生成されたデータを
とすると、これをモデル
を用いて
に復元するタスクを定義することができる。例えば、自然言語処理の分野では、BERTのマスクドランゲージモデル（Masked Language Model; MLM）がこの手法の代表例である。 画像処理の分野では、画像の一部を隠すタスクや、画像のパッチを入れ替えるタスクなどが用いられる。代表例として MAE がある。
対照的自己教師あり学習
対照的自己教師あり学習（Contrastive Self-Supervised Learning）は、モデルがデータの異なるビューを区別するタスクを通じて学習する手法である。データ
の異なるビューを生成するために、データオーグメンテーションを用いて
から複数の変換されたバージョン
を生成する。それ以外に全く関係ないデータポイント
も用意する。モデル
は、これらのベクトルを変換し関連度空間にマッピングする。
学習の目的は、
と
を近づけ、
と
を遠ざけることである。関連度空間上で関連度は、
関数で測られるとし、例えばコサイン類似度などがある。代表的な損失関数であるInfoNCE Lossは以下のように定義される。
ここで、 は温度パラメータであり、この式は正解を とする多クラス分類問題のクロスエントロピー損失と等価である。対照的自己教師あり学習は、自然言語処理や画像認識などのタスクで広く利用されている。