ベクトル
ベクトル
ここではベクトルをここで当たり障りない範囲で定義する。本来であれば数学的にはより抽象的な概念であるが、ここでは実用的な範囲で定義することにする。
実数を 個集めた順序付きの組を 次元ベクトルと呼ぶことにする。数の組は下のように縦に並べて表すこととする。
なお、ベクトル変数は太字で表すことにする。また、スペースの関係で横に並べて書いて行列の転置記号をつけて表すこともある。
次元ベクトル全体の集合を と表すことにし、 次元ベクトルは 行列であるとみなすことにし、行列と同じ演算を与えるとする。すなわち、ベクトルの和やスカラー倍は行列の和やスカラー倍と同じように定義される。
また、標準基底として を定義する。これは、 番目の成分が1で、他の成分が0であるベクトルである。
ベクトル空間
ベクトル空間とはいくつかの基底ベクトル を用いてその線形結合
で表される全てのベクトルの集合である。
これを下のような表記を用いて表す。
注意すべきなのは、ベクトルの集合全てがベクトル空間ではない。ベクトル空間はその和とスカラー倍について閉じている。
- 和:
- スカラー倍:
何方かと言えばこれこそが定義であるのだがここでは議論しないでおこう。たとえば、以下のような幾つかのベクトルを集めた集合はベクトル空間ではない。
基底
あるベクトル空間 の基底とは、 の元で以下の条件を満たすベクトル集合 のうち、その数が最小であるものをいう。
- 線型独立である。つまり
である。
- 全域性を持つ。つまり、全ての
に対して、
でただ1通りに表される。
次元
ベクトル空間 の基底が であるとき、 の次元 は
である。ある同じベクトル空間 の次元はその基底の取り方によらず一定である。
主張
ベクトル空間 の異なる基底が および であるとき、 である。
証明
なので、
となる、 が全ての について成り立つ。ここで、次のような を考えると、
は線型独立であるので、
が成り立つ。これは 元連立方程式であり、 のとき非自明な解をもつ。それは が非自明な解をもつことを意味し が線形独立であることに矛盾する。よって が必要である。
この議論を二つの基底を入れ替えて行うことで も導ける。よって、 である。
ノルム
ベクトル間の距離を定義するために、ベクトル空間 にノルム を好きに定義することにする。ノルムは以下の条件を満たすものである。
- 非負性:
- 正定性: ならば
- 斉次性: 任意の実数 とベクトル に対して、 が成り立つ。
- 三角不等式: 任意のベクトル に対して、 が成り立つ。
これらの条件を満たす関数はノルムと呼ばれる。ノルムが定義されているベクトル空間はノルム空間と呼ばれる。ノルム空間において、ベクトルの距離を定義することができる。ベクトル の距離は、 で定義される。ノルムを定義して初めて収束や連続などの概念をその空間上で定義することができるようになるが、ここではそれらの定義は省略することにする。
有名なノルムの例として、ユークリッドノルムがある。ユークリッドノルムは以下のように定義される。
これはL2ノルムとも呼ばれる。ユークリッドノルムは、ベクトル空間 において、ベクトルの距離を定義するために広く用いられている。ここでも基本的にユークリッドノルムを用いることにするが、他のノルムを用いても構わない。
ここではノルムに関する重要な定理を証明する。
主張
有限次元のベクトル空間上に二つの相異なるノルム および を定義する。このとき、どんな二つのノルムについてもある定数 が存在し、すべての について
が成り立つ。
証明
この定理を証明するにあたり
が全てのノルム の全ての に成り立つことをまず示す。なお、 はL1ノルムと呼ばれ
と定義される。まず の存在を示す。 なので、三角不等式及び斉次性から
ここで、 とおくと、非負性から であることが保証される。また、標準基底はゼロベクトルではないので正定性から でありつまり、 を満たす。この を用いると
が成り立つ。このとき、三角不等式を用いると
が成り立つ。つまり、全てのノルム関数はL1上連続である。正確に書き下すと とすれば
である。
さて、次に の存在を証明する。L1ノルム空間上に単位球面 を定義する。
この は明らかに有界であり、 はL1上連続な関数であることを先ほど示したので、Weierstrassの最小値最大値定理より、
となる が の元に存在する。 （正定性）及びノルムの非負性から であることが保証される。以上より に対しては
であることがわかる。次に任意のベクトル について
を考えると、
となるので、 であり、 であった。これを用いれば
が成り立つ。以上より、どんなノルムについても、L1ノルムとの間には定数 が存在し、
である。異なる2つの および についても以下が成り立つ。
これの第1式を変形すると、
これを第2式に代入すると、
となる。よって示された。
この定理は、全てのノルムで同じように収束・発散・連続などのノルムを使った議論が可能であるということを示している。ノルムの値は違くてもその増減は同期している。
内積
ベクトル空間 に内積を定義することもできる。内積 は、以下の条件を満たす関数である。
- 線形性: 任意のベクトル と任意の実数 に対して、 が成り立つ。
- 対称性: 任意のベクトル に対して、 が成り立つ。
- 正定性: 任意のベクトル に対して、 が成り立ち、 ならば が成り立つ。
内積が定義されているベクトル空間は内積空間と呼ばれる。内積には有名なものとしてドット積があり、標準内積とも呼ばれる。ドット積は以下のように定義される。
ここでは、標準内積を用いることにする。また、ドット積はベクトルを行列をみなして以下のように表記でき、こちらの表記を頻繁に用いることにする。
核
線形写像 について核 を次のように定義する。
ただし、 である。
像
写像 について像 を次のように定義する。
ただし、 である。
像は行列 の各列ベクトルで張られたベクトル空間になる。
主張
行列 について、以下のように分割してベクトル を決める。
このとき、
である。
証明
ベクトル を とおくと、
となる。これは、 の線形結合であるから、どんな に対しても である。つまり、 である。
逆に、 であるとき、
となる実数 が存在する。これを集めたベクトル とおくと、 となるので、 である。どんな に対しても成り立つので、 である。
2つの議論より が成り立つ。
ランク・ヌルティ
とする。 線形写像 の像 の次元を、行列 のランクと呼ぶ。すなわち、
である。線形写像 の核 の次元を、行列 のヌルティと呼ぶ。すなわち、
である。
線型写像のランクはその行列の列ベクトルについて以下の性質が存在する。
主張
について線型写像 を考える。また、 の列ベクトル を決める。
この写像のランクが であるとき、 から 個選んで を取り の基底とすることができる。
証明
まず、
を置く。次に以下の2の手続きを を から まで順に繰り返して得られる を とする。
- である。
- なら とする。そうでないなら とする。
この は線形独立であることを証明する。 は自明に線形独立。 が線形独立であると仮定して、 も線形独立であることを示す。 のときそのまま線型独立性が維持される。 のとき、つまり のときを考える。以下の式を考える。
これは の線形結合であり、その に対応する係数が で に対応する係数が である。 と仮定するとこのとき、
となる。つまり、 は の線形結合で表すことができる。しかし、 であるから、これは矛盾する。つまり、 である。これを代入すれば
となる。 は線型独立であるから である。以上より、 の線形結合が であるとき、各係数は であり、 は線型独立である。数学的帰納法より は線型独立である。
次に、全ての で であることを示す。 より であることは自明である。次に が成り立つことを仮定する。
-
のとき、 なので
である。 であるとき、
と表せる。 であり、仮定から なので は の線形結合で表せる。
すると、
となる。これは、 の線形結合であり、 の要素である。したがって、 が成り立つ。逆に を仮定し と表せることから逆向きに議論することで が成立する。よって が示せた。
-
のとき、仮定より であるので
のとき、
より である。 より が示せた。
逆に、 のとき、仮定より なので
と表せる。これは、
と変形でき、 がいえる。よって、 が示せ、 である。
以上から、いづれの場合にも が成り立ち、数学的帰納法から は である。
これら2つの証明から は線形独立性と全域性を持つことから の基底である。より言えば の基底である。ランクの定義からこの基底 は 個のベクトルからできているはずであるので証明は終了した。
ランクとヌルティに関して以下の重要な定理が存在する。
主張
線形写像 について、 であるとき、
が成り立つ。
証明
とおく。つまり、 の次元は であり、その基底を とする。 なので、 であり、 である。つまり適当な を取ると は の基底とすることができる。
さて、ある について、 を満たす が存在する。これは、先ほどの基底を用いて
と1通りに表せる。両辺に左から をかけると、
となるが、 より であるから、
となる。これは、 ( ) の線形結合でどんな も表すことができることを表している。つまり、 は の線形結合で表される。このとき、 の取り方は1通りであったので線形結合の係数は1通りである。
そして、これが基底となるには線型独立性が必要であるのでそれを示す。
であるときを考える。これは
と変形できるので、 である。設定した基底を用いれば
がいえる。これは線型独立な基底の線形結合なので
が成り立つ。仮定と結果だけ見れば
であり、これは が線型独立であることの証明である。全域性は先ほど示したので、 は を基底にもち、その数は である。よって、 が示された。
多変数関数
以上で定義したベクトルを入力と出力に用いることで、関数 を定義することができる。ここで、 は入力の次元数、 は出力の次元数である。ここでは、このような関数を多変数ベクトル値関数と呼ぶことにする。 を以下のようにして分解し、 を の成分関数と呼ぶことにする。
1変数スカラー関数
まず、高校範囲で考えてきたスカラー値関数について復習しておこう。関数 は高校数学から馴染みのある関数で、入力も出力も実数値を取る。このような関数に対する微分は、多くの場合以下のように定義されてきた。
しかし、多変数に拡張するにあたりより一般的な性質である一次近似を用いて定義することが望ましい。一次近似とは、関数 が点 の近傍で線形関数で近似できることを意味する。
すなわち、ある が存在し、 の全ての に対して、関数 が以下のように表せるとき、関数 は点 で一次近似可能であると言う。
ここで、 は定数であり、 を満たす関数である。 はランダウの小記号で、以下のように定義される。
関数 に対して、 は、
であることを言う。
この定義において、 は関数 の点 における微分係数であると定義される。すなわち、
である。この定義は、関数 が点 の近傍で線形関数で近似できることを意味しており、分の概念をより一般的な形で捉えることができるようになる。
偏微分
まず、多変数スカラー値関数について偏微分を定義する。偏微分は一見すると1変数関数における微分の拡張のように見えるが、実際にはそうではない。偏微分は、関数 の点 において、ある特定の変数 に関する微分を定義するものである。
ある が存在し、 の全ての に対して、関数 が以下のように表せるとき、関数 は点 の変数 に関して偏微分可能であると言う。
は定数であり、 は を満たす関数である。このとき、 は関数 の点 の変数 に関する偏微分係数 であると定義される。 すなわち、
である。
これは、関数 を にのみ依存する関数とみなしたときの微分係数である。
これを多変数ベクトル値関数 に対しても同様に定義することができる。
ある が存在し、 の全ての に対して、関数 が以下のように表せるとき、関数 は点 の変数 に関して偏微分可能であると言う。
ここで、 は 次元ベクトルであり、 は を満たす関数である。このとき、 は関数 の点 の変数 に関する"真の"偏微分係数 であると定義される。すなわち、
である。ここで、"真の"とつけたのは理由があり、後ほどに偏微分係数の別表記を定義することになる。
スカラー値関数に対する偏微分は、関数を特定の変数にのみ依存する関数とみなしたときの微分係数であったが、ベクトル値関数に対する偏微分は、具体的にどのように表わされるのだろうか？実は、
である。すなわち、ベクトル値関数の偏微分は、成分関数の偏微分を集めたベクトルである。これを定義に則して証明する。
主張
関数 が点 の変数 に関して偏微分可能であるとする。このとき、関数 の点 の変数 に関する偏微分係数は、関数 の成分関数の点 の変数 に関する偏微分係数を集めたベクトルである。すなわち、
である。
証明
関数 の点 の変数 に関して偏微分可能であるので、ある が存在し、 の全ての に対して、関数 が以下のように表せる。
ここで、 の成分関数は であるので、上の式は以下のように成分ごとに表すことができる。
つまり、 に対して、以下の式が成り立つ。
ここで、 を満たす関数であるので、 を満たす関数である。各成分関数 は点 の変数 に関して偏微分可能であるので、ある が存在し、 の全ての に対して、関数 が以下のように表せる。
ここで、 は定数であり、 を満たす関数である。このとき、 は関数 の点 の変数 に関する偏微分係数であると定義される。すなわち、これらを連立すれば
となる。両辺 とすると、 と は によらないので
となる。これが全ての に対して成り立つので、
である。
微分（全微分）
偏微分は特定の変数に関する一次近似であり、1変数関数の微分の拡張とは言えない。全変数に関する一次近似を用いて、関数 の点 における微分を定義する。これを偏微分と区別して全微分と呼ぶこともある。
関数 が点 の近傍で微分可能であるとは、ある が存在し、 の全ての に対して、関数 が以下のように表せるときである。
ここで、 を満たす関数 である。このとき、 は関数 の点 における"真の"微分係数 であると定義される。すなわち、
である。
は 次元ベクトルであるので、当然 も 次元ベクトルでなければならない。 は 次元ベクトルであるので、 は 行列でなければならない。すなわち、 である。したがって、関数 の点 における微分係数は 行列であると定義される。
ヤコビ行列（ヤコビアン）
関数 のヤコビ行列（ヤコビアン） は、以下のように定義される。
さて、このヤコビアンは、関数 の点 における真の微分係数とどのような関係があるのだろうか？実は、ヤコビアンは関数 の点 における真の微分係数と同じものである。すなわち、
である。これを証明する。
主張
関数 が点 の近傍で微分可能であるとする。このとき、関数 の点 における真の微分係数は、関数 のヤコビ行列である。すなわち、
である。
証明
関数 の点 において微分可能であるので、ある が存在し、 の全ての に対して、関数 が以下のように表せる。
ここで、 である。 ここで, を取り、 としても成り立つので、
である。このとき、明らかに は偏微分可能であるので、ある が存在し、 の全ての に対して、関数 が以下のように表せる。
ここで、 である。これらを連立すると、
両辺 とすると、
であり、 と は によらないので、
となる。 は 行列であるので、 を掛けると、 の第 列が得られる。したがって、 の第 列は、関数 の点 の変数 に関する偏微分係数である。これが全ての に対して成り立つので、
ナブラ
今まで考えてきた微分、偏微分はある関数に対する作用素 を作用させることで表してきた。作用素は演算子とも呼ばれ や などの演算子と同じように、それ単体では意味を持たないものである。これらの作用素は右側に関数を取ることで、微分や偏微分を表すことができる。例えば、関数 の点 における微分は、作用素 を関数 に作用させることで表すことができる。
さて、新たな作用素として、ナブラを定義しておこう。 上のナブラは以下のように定義される。
ナブラはベクトルのような見た目をしているが、実数を集めたものではなく、作用素を集めたものなのでベクトルではない。（つまり の元ではない）しかし、形式的にベクトルと同じ演算を与えることができる。例えば、ナブラを関数 に作用させると、以下のように形式的にベクトルの積を考えることができる。
これはのちに勾配と呼ばれるものである。また、以下のように形式的に標準内積も取ることができる。
このように、ナブラは形式的にベクトルのような演算を与えることができるが、あくまで作用素の集まりであることに注意する必要がある。
"偽の"微分係数
"真の"微分係数のままでは、数値計算上不便なことがある。なので以下のように"偽の"微分係数を定義し、それを用いて導関数を定義する。関数 の点 の"偽の"微分係数は、以下のように定義される。
がスカラー値関数となっている場合、 であるとみなすことができるので、
ここで微分係数を で表しているのは関数を のみの関数とみなしており、本質的に偏微分であるからである。なので、 以外にの変数があっても、 による偏微分は 以外の変数は定数とみなして全微分を取ることになる。多変数ベクトル値関数の微分、偏微分の定義はこれまで述べたとおりであるが、その定義を愚直に持ち出すよりは、偏微分を並べたベクトルや行列を定義と思い込む方がはるかに便利である。加えて、今定義した"偽の"微分係数は、数値計算上も便利である。
ここではそれを"偽の"微分係数と呼んでいるが、実際にはこれも微分係数であるとみなすことができる。このように定義した微分係数はdenominator-layout notion（分母レイアウト記法）と呼ばれている。以前定義された"真の"微分係数はnumerator-layout notion（分子レイアウト記法）と呼ばれている。
denominator-layout notionでは、 について
である。すなわち、スカラー値関数の微分は、ナブラを関数に作用させることで表すことができる。これも、denominator-layout notionを採用したからこそ成り立つ式である。
微分係数を定義域全体またはその一部で定義できるとき、 は引数 をとる関数として定義できる。これを導関数と呼ぶことにする。
微分規則
ここでは導関数の規則について以下を説明する。
- 定数
- 線形結合
- 線形結合
- 連鎖律
- 標準内積
定数
主張
ベクトル が変数 に依存しないとき、
となる。
証明
を変数 を受け取る関数として、 と定義する。このとき は微分可能なので が存在し、 となる全ての に対し
と表せる。ただし、 である。しかし、ここで は定数なので常に であり、
両辺 で割り、 とおくと、
となる。ここで、 のとき、左辺は定数で右辺は に収束する。つまり、
これが任意の を満たす について成り立つ。つまり、任意の について
が成り立つ。このような行列は のみ。よって、
が成り立つ。
線型写像
主張
関数 が と表されるとする。なお は定数とする。このとき、
である。
証明
は微分可能なので、ある が存在し、 となる全ての に対し
と表せる。ただし、 である。関数を代入すれば
が成り立つ。両辺 で割り、 とおくと、
となる。ここで、 のとき、 は にはよらないので
が成り立つ。これは任意の を満たす について成り立つので、
が成り立つ。よって、
が成り立つ。
この定理から導かれる系として、
がある。これは とすれば から明らかである。
線形結合
主張
関数 について、その和 の導関数は以下のように表される。
証明
は微分可能であるので、ある が存在し、 となる全ての に対し
が成り立つ。これを辺々加えれば
ここで、 と定義する。すると、
なので、 である。よって、 は微分可能であり、
が成り立つ。両辺転置をとれば
が成り立つ。
主張
関数 と定数 について、その定数倍 の導関数は以下のように表される。
証明
関数 は微分可能であるので、ある が存在し、 となる全ての に対し
と表せる。ただし、 である。この式に定数 をかけると
となる。ここで、 であることに注意すると、関数 は微分可能であり、その導関数は以下のように表される。
両辺転置をとれば
が成り立つ。
連鎖律
1変数スカラー値関数 についてその合成関数 を考える。このとき の導関数は
となる。これはスカラー関数の微分の定義から証明できるのでここでは既知とする。
多変数ベクトル値関数 と について、合成関数 を考える。このとき、合成関数の導関数は以下のように表される。
形からもわかるように ではないことに注意されたい。さてこれを"真の"微分係数を用いて証明しよう。まずは以下の補題を示しておく。
主張
行列 に対して、ある有限な定数 が存在し、任意の に対して
が成り立つ。
証明
である。これを代入すると、三角不等式と斉次性から、
となる。ここで、 は有限個しかないので、そのうち最大のものを とおく。これは当然有限である。すると、
となる。ノルムの同値性より、ある が存在し、
が成り立つ。よって、
であり、 とすれば証明が完了した。
これを元に証明を行う。
主張
関数 と が点 の近傍で微分可能であるとする。このとき、関数 の導関数は以下のように表される。
証明
関数 は全微分可能であるので、ある が存在し、 の全ての に対して、関数 が以下のように表せる。
ここで である。ここで、 と定義する。
また、 も全微分可能であるので、ある が存在し、 の全ての に対して、関数 が以下のように表せる。
ここで である。さて、
である。 は のとき、 である。よって、 が十分小さければ、 も十分小さくできる。なので、 とすることができ、 とおくと
ここで、 について考える。
となる。ここで、
となる。先述した補題を用いれば、ある有限の が存在しどんな に対しても
となる。よって
となる。ここで、 である。よって は有限の値 に収束する。また、 である。 のとき、 となるので、
である。加えて、 について考えると
となる。よって、
なので、
とわかる。よって は下のように一次近似できる。
全微分の定義から
である。これが全ての定義された で成り立つので転置を取れば、
のように表現できる。証明は完了した。
標準内積（積）
主張
を微分可能な関数とする。このとき、標準内積 の導関数は以下のように表される。
証明
は微分可能なので、ある が存在し、 を満たすすべての に対して、
が成り立つ。ただし、 、 である。これを代入すると
となる。ただし、 、 である。各項はスカラーであるのでそれぞれ転置しても等しい。よって、
である。 がそれぞれ で であることを示していく。まず について、
である。次に について、 を考えるにあたり、 であるとしてよくこのとき、
である。最後に について、 とおくと、 は方向ベクトル（ノルムが1のベクトル）である。このとき、
である。つまり、 とおくと、 である。よって、
であり、転置を導入すれば導関数は
となる。証明は完了した。
ラグランジュ未定乗数法
ここではラグランジュ未定乗数法について理解、証明を行うために様々な内容を準備し最終的にKKT条件を導く。
制約付き局所最小
ラグランジュ未定乗数法ではある制限された範囲で最小を見つけることを目的としている。この制限された範囲とは制約集合とよばれ、まずは
を考えることにしよう。 をまとめることで と表すことができる。
は暗黙に 級であることを仮定しておこう。 次に、 が で局所最小とは 上の近傍 で
であることを指す。関数 は最小化の対象の関数である。
接空間
が における接ベクトルであるとは、ある と 級の関数（曲線） が存在して
が成立することである。このような は を固定すればいくつもあり、それを集めたものを接空間といい
と表すことにする。本来であればこれは接ベクトルの集合であり、基底を線形結合したベクトル空間ではない。しかし、後述の正則性条件よりこれはベクトル空間を構成する。
正則点・正則値
任意の制約についてラグランジュ未定乗数法が使えるわけではない。何種類かの条件が必要である。ここでは正則性として
を仮定することにする。これは が全射であることと同値である。これは、 が正則点であると表される。
主張
線形写像 について以下の2つは同値である。
- は全射である。
証明
全射の定義より、 である。 であるから、 が全射なら 。
は と同値である。 である。 の部分空間でランクが であるものは基底を考えれば しか考えられない。つまり である。つまり全射。
さらに、 の多価の逆関数を と表す。
が の正則値であるとは、 である全ての が正則点であることをいう。さて、これについて以下の定理がある。
主張
が 級であり、 が の正則値であるならば、正則レベル集合 について、
が成り立つ。
証明
まず、 を示す。任意の について、定義よりある が存在し かつ である。このとき、 であるから、 が成り立つ。両辺を で微分すると、連鎖律から
である。 とすれば、
であり、核の定義より 。どんな についても同様である。したがって、 である。