3. MAP推定と正則化最小二乗法
MAP は Maximum A Posteriori の頭字語で、日本語では「最大事後確率」と呼ばれる。 すなわちMAP推定は、実測データが得られた事後の確率分布を考える、ベイズの定理を応用した手法となる。
いま、回帰関数 (1.8)
\[y(\boldsymbol{x},\boldsymbol{w})
=
\boldsymbol{w}^\top \boldsymbol{\phi}(\boldsymbol{x})\]
のパラメータ \(\boldsymbol{w}\) に関して何らかの事前知識があり、それを確率分布の形で表せるという状況を考える。 とりあえずの出発点として、ガウス分布に従うとしておくのは一つの常套手段である [1]
(3.1)\[p(\boldsymbol{w})
=
\mathcal{N}(\boldsymbol{w} | \boldsymbol{0}, \sigma_\boldsymbol{w}^2\boldsymbol{I})
=
\frac{1}{\sqrt{(2\pi)^M(\sigma_\boldsymbol{w}^2)^M}}
\exp{\left(-\frac{\boldsymbol{w}^\top\boldsymbol{w}}{2\sigma_\boldsymbol{w}^2}\right)} .\]
\(\boldsymbol{w}\)（と入力\(\boldsymbol{X}\)）が与えられたときに出力 \(\boldsymbol{t}\) を得る確率のモデル（尤度関数）として、式 (1.16)
\[p(\boldsymbol{t} | \boldsymbol{X}, \boldsymbol{w})
=
\frac{1}{\sqrt{(2\pi)^N(\sigma_\varepsilon^2)^N}}
\exp{\left(
-\frac{1}{2\sigma_\varepsilon^2}
(\boldsymbol{t}-\boldsymbol{\Phi}\boldsymbol{w})^\top (\boldsymbol{t}-\boldsymbol{\Phi}\boldsymbol{w})
\right)}\]
を採用する。このとき、 \(\boldsymbol{w}\) の事後確率分布はベイズの定理より次のようになる
(3.2)\[p(\boldsymbol{w} | \boldsymbol{X}, \boldsymbol{t})
= \frac{
p(\boldsymbol{t} | \boldsymbol{X}, \boldsymbol{w})
p(\boldsymbol{w})
}{C} ,\]
(3.3)\[C
=
p(\boldsymbol{t} | \boldsymbol{X})
=
\int p(\boldsymbol{t} | \boldsymbol{X}, \boldsymbol{w})
p(\boldsymbol{w})d\boldsymbol{w} .\]
式 (3.2) の対数をとる
(3.4)\[\ln{p(\boldsymbol{w} | \boldsymbol{X}, \boldsymbol{t})}
=
- \frac{1}{2\sigma_\varepsilon^2} \sum_{n=1}^N (t_n - y(\boldsymbol{x_n},\boldsymbol{w}) )^2
- \frac{1}{2\sigma_\boldsymbol{w}^2} \boldsymbol{w}^\top\boldsymbol{w}
- N\ln2\pi
- \frac{N\ln\sigma_\varepsilon^2}{2}
- \frac{N\ln\sigma_\boldsymbol{w}^2}{2}
- \ln{C} .\]
上式右辺を最大化するには、次式を \(\boldsymbol{w}\) について最小化すればよい
(3.5)\[L(\boldsymbol{w})
=
\frac{1}{\sigma_\varepsilon^2}
\left(
\frac{1}{2} \sum_{n=1}^N (t_n - y(\boldsymbol{x}_n,\boldsymbol{w}) )^2
+ \frac{\lambda}{2} \boldsymbol{w}^\top\boldsymbol{w}
\right),
\qquad
\lambda
=
\frac{\sigma_\varepsilon^2}{\sigma_\boldsymbol{w}^2} .\]
これは、二次正則化項付きの最小二乗法（リッジ回帰）に他ならない。 また、式 (3.4) に対しても、ハイパーパラメータについての最尤推定を実行することが可能である。