畳み込みニューラルネットワーク

畳み込みへの導入

ここまでのニューラルネットワークでは全結合層をメインに用いてきた。全結合層は、入力のすべての成分が出力のすべての成分に寄与する。入力次元 のデータに対して、出力次元 の全結合層を適応する場合、その時間計算量は で、空間計算量は である。これから扱うような画像データのような高次元データに対しては、全結合層は計算量が大きくなりすぎる。そこで、局所受容野と重み共有という工夫を通じて畳み込みという手法を導入する。

テンソルの導入

畳み込みは、1次元のベクトルに対して行うことを考えてきた。しかし、画像データのような3次元のデータに対して畳み込みを行うことを考えたい。そのために、まずテンソルに話を拡張しよう。

そもそも、画像データとは何次元のデータだろうか。全結合層はバッチを考えなければ、一次元データであるベクトルに対して適応されてきた。特徴量一つが一つの成分を表すベクトルである。すると画像は、ピクセルを縦横に並べた2次元のデータだろうか？一般的にはそうではない。画像は、ピクセルを縦横に並べた2次元の構造に加えて、1ピクセルが色の情報をベクトルで持つ。つまり、画像は3次元のデータである。例えば、RGB画像は、縦横のピクセルに加えて、色の情報を3成分のベクトルで持つ。つまり、画像は画像の横方向、縦方向、そして色方向の3次元である。これをテンソルと呼ぶ。テンソルは行列と同様に大きさが存在し、 と表す。一般的に画像は と表される。 は高さ、 は幅、 はチャンネル数である。RGB画像は で表される。（チャンネル軸を最初に置き と表す流儀もあるが、ここでは と表す。）グレースケール画像は で表される。テンソルは、行列やベクトルを一般化した概念であるが、本書では3次元以上のデータをテンソルと呼ぶことにする。 次元実数テンソル全体は である。

また、テンソルは添え字を指定することで行列やベクトルとして扱うこともできる。3次元テンソル に対して、

となる。特に、 はベクトルの行列と同一視できることは重要である。

畳み込み層

では畳み込みをテンソルに対して適応することを考える。まずは、純粋に拡張してみる。テンソル に対して畳み込みを適応し、出力 を得ることを考える。カーネルの大きさ（=カーネルサイズ）を 、カーネルのスライド幅をそれぞれの軸について とする。すると、カーネルの重みは となる。すると、出力は次のように表せる。

これで純粋な畳み込みが行える。しかし畳み込みニューラルネットワークで一般的に行われている畳み込みは少し異なる。まず、 方向と 方向で扱いが異なる。 方向には、1ピクセルの特徴量が含まれている。つまり、 方向については空間データではない。よって、 方向については畳み込みを行わないことにする。つまり、

とする。また、 は不要である。つまり、 方向をベクトルとして扱えることを思い出せば、

と定式化できる。すると、出力の大きさはどうなるだろうか？カーネルが入力内に完全に収まる位置をストライドごとに数えると、出力の大きさは次のように表せる。

ここで、 方向の大きさが になっていることに着目すると、画像の1ピクセルの特徴量が1つに圧縮されていることがわかる。しかし、これはあまり望ましくない。なぜなら、1ピクセルの表現力が失われてしまうからである。また、この計算は 方向については畳み込みを、 方向についてはすべての成分に対して異なる重みを用いてその総和を計算していることから1ニューロンをもつ全結合層の計算を行っていると解釈できる。つまり、全結合層と同じようにニューロンを増やすことで表現力を増すことができる。そのためには、 方向の各成分について異なる重みを準備し、複数回変換を行う必要がある。よって、異なる 個のカーネル を準備し、個々の出力 を得てみよう。

そして、この個々の出力は 方向が のテンソルであり、これは 次元テンソルつまりは行列として扱える。これを失われた 方向に結合することで、真の出力 を得ることができる。

このような計算により、入力テンソル に対して、出力テンソル を得ることができる。 は何枚のカーネルを用いるかを与えることになり、モデル設計の段階で決定する。ちょうど、全結合層における出力の次元数を決定するのと同じである。なので、ここで改めて入力チャンネル数 と出力チャンネル数 を定義する。また、入力 と重み のストライド による畳み込みを以下のように表すこととする。

さらに、バイアスについて考えてみよう。バイアスは、ニューロン1つが1つの値を持ち、入力を重みでスケールさせたのちに加えるスカラーであった。つまり、先ほどの出力 の全要素に同一のバイアス を加えればよい。改めてその出力は、

である。これが、畳み込み層の順伝播である。下図はそのイメージを図示したものである。

パディング

ここまではカーネルが入力内に完全に収まる位置だけで畳み込みを行った。この場合、入力サイズとストライドの組み合わせによっては端に使われない領域が残り、出力サイズも入力サイズと異なる。まず、パディングを行わない場合の出力の大きさは次のように表せる。

当然、このように出力を決めると、出力の大きさが入力と異なる。これ自体は問題にはならないが、出力のサイズが不安定になってしまう。ニューロンの大きさのように狙った大きさにしたいこともある。また、2の累乗や6の倍数といったわかりやすい大きさにすることが望ましい。そのような調整を可能にするため、パディングを導入する。パディングとは、入力の周りに対称になるように0を追加することである。このパディングを行った入力を用いて畳み込みを行うことで、出力の大きさを調整することができる。 方向のパディングの幅を とすると、 軸それぞれ だけ大きさが増えることになる。つまり、パディング後の入力に畳み込みを適用した出力の大きさは次のようになる。

特に用いられるのがセームパディング（Same Padding）である。セームパディングは、出力の大きさについてフィルタの大きさによるズレを解消するようにパディングをおこなうことである。出力サイズは となるようにする。 はそれぞれ を割り切れる値であることは仮定しておく。このような と を計算してみよう。

このような条件を満たす ならばSame Paddingになるが、ストライドが1でカーネルサイズ が偶数の場合、左右対称な整数の は存在しない。そのため、左右対称なSame Paddingでは奇数のカーネルサイズを使うことが望ましい。 のときは

を使うことが多い。当然、 についても同様の議論が可能である。いくつかのライブラリでは左右非対称なパディングを行ってSame Paddingを実装している。が、ここでは議論しないことにする。

畳み込みの高速化（img2col + GEMM）

先程定義した畳み込みは、すべての受容野に対してフィルタの数 だけ計算を行う必要がある。この場合、深いループが必要なことは明らかである。これを克服するために、img2colという手段を用いてテンソルを行列に変換し、畳み込みの演算を一般行列積（GEMM）として解釈するという手法をここでは議論したい。この議論はやや天下り的に行われるのでその正当化について重点的に議論する。具体的な議論に入る前に、感覚的な説明を行う。畳み込みでは重み共有を行っているという性質について、各受容野についておなじフィルタ演算を行っている。これは行列積においてある成分が演算に複数回用いられていることと対応している。また、各受容野では重みと成分の積の和を計算している。これは行列積においても同様であるのでこれは対応する。どうだろう、なんとなく行列積に変換できそうな気がしてきたのではないだろうか。では、実際にどのような変換を行うかを見てみよう。ここからの議論ではバイアスについて考えずに進める。なぜなら、バイアスは出力に対して加算を行うだけで適応できるからである。

まず、入力 と重み 及び出力 を今までどおり定義する。大きさは以下のように定義する。

ストライドを とし、これらの値は適切なものとする。まず、各受容野---つまりは の一部を次のように改めて定義する。

ここで、 はそれぞれ出力の高さと幅の添え字である。つまり、 は出力の 番目の成分に対応する受容野を表す。成分の書き下しではわかりにくいが、 方向に 回、 方向に 回スライドした受容野内の入力 の成分である。この先、このテンソルの 要素を と表記する。このテンソル内の要素ある順番で行ベクトル に並び替える。ここではこの順番を一般的な順番である の順番で並び替えるとする。これは先に でソートし各 内で についてソートし、最後に各 内で でソートする。要素をたどる方向は の順である。実際にやってみよう。

このように、受容野を要素数 の行ベクトルに変換することができた。 は次元数ではなく要素数であることに注意が必要だ。これを全ての受容野について行うと、 個の行ベクトルが得られる。これらを並べて の行列表現である を得る。なお、並べる順番は先程同様に決められるべきで、今回は の順番で行ベクトルを行列の 方向に追加していくことにする。つまり、

となる。これで入力テンソルを行列に変換することができた。次にフィルタの行列表現を得る。まず、入力の各受容野を行ベクトルに変換したのと同様に、各フィルタ を列ベクトル に変換する。このとき、同じ方法で並び替えることが必要だ。