Triad sou.

ベイズ推定と交換可能性


交換可能性を満たす場合、$n$ 個の確率変数 $X_i$ ($i=1, 2, \ldots, n$) の同時確率 (密度) 関数において
\[
p(x_1, x_2, \ldots, x_n)=
p(x_{\s(1)}, x_{\s(2)}, \ldots, x_{\s(n)}),
\] が成り立つ。
ただし、$\s$ は集合 $\{1, 2, \ldots, n\}$ に対する置換を表わす関数で、$n$ 文字の置換 $\s$ は全部で $n!$ 通り存在する。

ここしばらくの間、ベイズ推定を勉強していて、交換可能性について考えていた。
de Finetti の定理 [1] もなんとか理解できたけど、交換可能性というものがどうもしっくり来ないなぁと思った。

de Finetti の定理によれば、$0$ または $1$ の値を取り得る確率変数の無限系列 $\{X_1, X_2, \ldots, X_n, \ldots\}$ が交換可能性を満たすとき、
\[
p(x_1, x_2, \ldots, x_n)=
\int_0^1 \theta^{y}(1-\theta)^{n-y} \mathrm{d} Q(\theta),
\] \[
Y=\sum_{i=1}^n X_i,
\] \[
\lim_{n \rightarrow \infty} \frac{Y}{n}=\theta,
\] \[
\lim_{n \rightarrow \infty} \Pr\left(\frac{Y}{n} \leq t\right)=Q(t)
\] が成り立つから、分布関数 $Q$ が連続で微分可能か、階段関数であれば、
\[
p(x_1, x_2, \ldots, x_n \mid \theta) = \prod_{i=1}^{n} p(x_i \mid \theta)=\prod_{i=1}^{n} \theta^{x_i} (1-\theta)^{1-x_i}
\] がたぶん成り立つ。
だから、交換可能性を満たす場合においても、尤度に関しては i.i.d. の場合と同様に扱っても問題はない。
また、分布関数 $Q$ は $\frac{Y}{n}$ を極限 ($n\rightarrow \infty$) にぶっ飛ばした場合の分布関数で、無限母集団が持つパラメータ $\theta$ の分布関数になる。
推定を行う際には無限母集団のパラメータの分布関数なんて分かるはずがない (分かってたらやる必要もない) ので、しょうがないから代わりにそれっぽいものを使う、それが事前分布にあたるものだと解釈できるんじゃないかと思う。

$\int \mathrm{d}Q(\theta)$ はリーマン・スチルチェス積分
連続と離散の混合や、有限個の不連続点を含むような分布関数の場合は調べていないので、そのうちやろうかな。

自分は無意識のうちに i.i.d. を仮定して色々な解析をやってきたせいか、実際に交換可能性を満たしていて i.i.d. ではない場合を想定しなければならない様な状況がぱっとうかばなかった。
この辺りを良い例で示しているものがあると良いんだけど、交換可能で非 i.i.d. の仮定が必要な事例って無いんですかね?

参考文献

[1] Heath D, Sudderth W. De Finetti's theorem on exchangeable variables. The American Statistician 1976; 30(4): 188–189.