Triad sou.

統計

Time-dependent (varying) covariate / Time-dependent (varying) effect

比例ハザードモデルとその拡張のちょっとしたメモ。 色々調べると、time-dependent と time-varying は特に区別していない文献ばかりだった 当然 covariate と effect では意味が違うので注意 Proportional hazard $h(t, \mathbf{x}, \boldsymbol{\beta}) = …

Penalized quasi-likelihood について

GLMM の推定アルゴリズムに Penalized quasi-likelihood (PQL) という方法があるのですが、整理のためメモを書くことにしました。 PQL 混合効果モデルのパラメータ推定において、周辺尤度の積分を必要とする方法があることはよく知られていると思います。 GL…

Log-gamma distribution

A log-gamma random variable, $Y$, is defined as, \[ Y=\exp(-X) \] where $X \in [0, \infty)$ follows a gamma distribution, and $Y \in (0, 1]$. The probability density function of the log-gamma distribution is \[ f_Y(y)=\frac{b^a\left\{\log(…

行列のスカラー微分のメモ

$\mathbf{A}$, $\mathbf{B}$ について、スカラー $\theta$ で微分する場合を考える。 だたし、 \[ \mathbf{A}= \left\{ a_{ij} \right\}, \frac{\partial \mathbf{A}}{\partial \theta}= \left\{ \frac{\partial a_{ij}}{\partial \theta} \right\} \] とし…

一般化線型モデルの復習

仮定 確率分布 確率変数 $Y_i$ が互いに独立に canonical form の指数型分布族、 \[ f_{Y_i}(y_i)=\exp\left\{ [y_i \theta_i - b(\theta_i)] / \phi^2 - c(y_i, \phi) \right\}, \] に従う事を仮定する ($Y_i \overset{\rm{i.i.d.}}{\sim} f_{Y_i}(y_i)$)。…

最近のブーム

最近お勉強中のものをまとめてみよう。 推定関数、推定方程式 セミパラメトリックモデル Model miss-specification KLD Missing data 因果推論 情報幾何 数値解析 今までやってきたことが、いかに貧弱で、低レベルだったかということを再認識した。

On-line algorithm

分散のオンラインアルゴリズム (逐次更新計算)

負相関変量法・対称変量法

モンテカルロ法で積分値を推定する問題では、いくつかの分散減少法がしられています。 そのうちの一つである、antithetic variates method (負相関変量法・対称変量法) についてまとめてみようと思います。では、積分 \[ \int_a^b f(x) \mathrm{d}x= \int_0^…

単純モンテカルロ積分 (2)

今回も \[ \int_a^b f(x) \mathrm{d}x= \theta \] の様な積分値を推定する問題を考えます。このままでは $[0,\, 1]$ の一様乱数を利用できないので、 \[ x=a+(b-a)r \] \[ \frac{\mathrm{d}x}{\mathrm{d}r}=b-a \] \[ 0\leq r \leq 1 \] の置換積分を考えま…

単純モンテカルロ積分 (1)

単純モンテカルロ積分なんていう基礎的な事を復習してみました。自由度 $\nu=1$、分散共分散行列が \[ \mathbf{R}=\begin{pmatrix}1.0&0.7\\0.7&1.0\end{pmatrix} \] の 2 変量 $t$ 分布について、 \[ \int_{a_1}^{b_1}\int_{a_2}^{b_2}\mathrm{MVT}_2(t_1,\…

McNemar's test

以前は単なる対応データの割合が一致するかどうかの検定ぐらいの認識だったので、ちゃんと勉強してみようと思いました。 でも McNemar の原典 [3] を読むとさっぱり分からなかったので Kbauth 1985 [2] なども読みました。McNemar's test は、 \[ H_0:\, \pi…

Statistics Survays やら NCI The Biometric Research Branch の HP

お役立ちリンク情報。NCI The Biometric Research BranchReprints & Presentations から様々な文献がダウンロードできる。本もダウンロードできる、という情報を後輩からもらったので紹介。 Statistics SurvaysASA, IMS, Bernoulli, Statistical Society of …

正規線型モデルの条件付き推測

正規線型モデルとは書いたのですが、結局の所 $\mu$ なのか $X\beta$ なのかの違いだけなので、確率モデル \[ Y_{i} \overset{\mathrm{i.i.d.}}{\sim} \mathrm{N}(\mu, \s^2); i=1, \ldots, n, \] を考えます。この確率モデルのもとで、$\mathbf{Y}$ の同時…

局外パラメータを消す方法

最近勉強していると、必ずこの問題にぶつかるので、今のうちに整理しておこうと思う。 ここで、統計モデル \[ f(\mathbf{Y} \mid \boldsymbol{\theta}, \boldsymbol{\phi}), \] を考えよう ($\mathbf{Y}, \boldsymbol{\theta}, \boldsymbol{\phi}$ は全てベ…

t 分布の分布関数の導出

自由度 $\gamma$ の $t$ 分布の確率密度関数は、 \[ f(T=t\mid \gamma)= \frac{1}{\sqrt{\gamma}B\left(\frac{1}{2}, \frac{\gamma}{2}\right)}\left(1+\frac{t^2}{\gamma}\right)^{-\frac{1+\gamma}{2}} \] である。 ただし、$B(a, b)=\Gamma(a)\Gamma(b)/\…

指数型分布族

$n$ 個の独立な確率変数 $\mathbf{Y}$ が、$p$ 個のパラメータ $\boldsymbol{\theta}$ を持つ指数型分布に従うとすると、$\mathbf{Y}$ の確率密度関数は、 \[ \begin{align*} f(\mathbf{Y}=\mathbf{y} \mid \boldsymbol{\theta}) &= \left\{\prod_{i=1}^n f(…

一般化線型モデルと乱数

ちょっとだけ勉強したのでメモしておこう。 一般化線型モデル まず、確率変数ベクトル $\mathbf{Y}$ の期待値ベクトルを \[ \boldsymbol\theta=\mathrm{E}(\mathbf Y) \] と書いておきます。 一般化線型モデルと呼ばれている統計モデルでは、 \[ g(\boldsymb…

行列を用いない残差分散の不偏性の証明 (重み付き最小二乗法)

重み付き最小二乗法において、残差分散 \[ V_{e}= \frac{\sum_{i=1}^nw_i(Y_i-\hat{Y}_i)^2}{\phi_e},~ \phi_e=n-p \] が $\s^2$ の不偏推定量である事、すなわち \[ \mathrm{E}\left(\sum_{i=1}^n w_i e_i^2\right)=(n-p)\s^2 \] が成り立つ事を示したい。 …

Monte Carlo Error

新年初投稿、ちょっと調べ物をしたのでメモ。確率変数 $X$ の期待値 $\theta=\mathrm{E}(X)$ について、モンテカルロ法による近似を考える。 何らかの方法で、$X$ と同じ確率分布に従う $n$ 個の独立な乱数列 $X_i$ ($i=1, 2, \ldots, i, \ldots, n$) が得ら…

Satterthwaiteの近似 (2)

前回書いた結果をもとにして、ちゃんと近似できているのか試してみることにしました。 今回は Welch (1938) の (2) 式の統計量 \[ v=\frac{\bar{X}_1-\bar{X}_2}{\sqrt{\frac{V_1}{n_1}+\frac{V_2}{n_2}}} \] を導出する過程で出てくる分布の近似を考えてみ…

pivotal quantityと無情報事前分布

[1] の説明が分からなかったので、考えたり調べたりしていたら [2] を見つけることが出来た。 ある尤度関数 $p(y \mid \theta)$ に対して、無情報事前分布を構成する事を考える。 どんなパラメータ $h(\theta)$ に対して一様な事前分布を考えるかによって、$…

Satterthwaiteの近似 (1)

Biometrics Bulletin 1946 [2] を最初に読んだけど、詳しい話が書いてなかったので Psychometrika 1941 [1] を読んだ。概要は、不偏分散の推定量 \[ V_i=\frac{1}{\nu_i}\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_i)^2 \] の和の分布および、カイ二乗分布に従う確率…

重み付き最小自乗推定量と、不等分散下の最良線形不偏推定量

線型モデル $\mathbf{Y}=\mathbf{X}\mathbf{\beta}+\boldsymbol{\epsilon}$ において、不等分散下 \[ \mathrm{E}\left(\mathbf{Y}\right)= \mathbf{X}\mathbf{\beta}= \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1m} \\ x_{21} & x_{22} & \cdots & x_{…

t 統計量の分布

この発想はアートだと思う。 確率変数 $X_1, X_2, \ldots, X_i, \ldots, X_n$ が互いに独立に $\mathrm{N}(\mu, \s^2)$ に従うとき、統計量 \[ T=\frac{\bar{X}-\mu}{\sqrt{\frac{U^2}{n}}} \] は自由度 $n-1$ の $t$ 分布に従う。 ただし、 \[ \bar{X}=\fra…

リサンプリングを用いた多重比較

理論的な説明はとりあえずすっ飛ばして、 今回は、果たしてどういう計算をしているのか、という視点でまとめます。今回使うのは [1] に書かれている有名な方法で、一部では min P とも呼ばれるらしいです。 リサンプリングによって全ての比較が帰無仮説の時 …

Network Algorithm

ネットワークアルゴリズム。 日本語の解説ってあったっけ? 参考文献 [1] Mehta CR, Patel NR. A network algorithm for performing Fisher's Exact Test in r × c contingency tables. Journal of the American Statistical Association 1983; 78(382): 427…

スコア信頼区間

スコア信頼区間の求め方を復習。積二項分布モデルの尤度から、リスク比 $\phi=p_1/p_2$ のスコア信頼区間を求める。 スコア関数と Fisher 情報行列から $\mathbf{S}^t(\phi)\mathbf{I}^{-1}\mathbf{S}(\phi)=z^2$ をみたす $\phi_{L}$ と $\phi_{U}$ を求め…

2×2×k表の共通オッズ比の検定

共通オッズ比の検定の帰無仮説は、層の数を $k$ として第 $i$ 層のオッズ比を $\theta_i$ とすると、 \[ H_0: \psi_1=\psi_2=\ldots=\psi_k=\psi=1 \] \[ H_1: \mbox{not } H_0 \] 以下である。 これは、オッズ比均質性の検定よりは厳しい帰無仮説になってま…

ルベーグ積分

数学セミナー(81年10月号)を古本屋で買いました。 大学でニセ数学しか勉強していなかった私にとっては非常に分かりやすかった。 何で必要になったのかということと、何が出来るようになるのかも厳密にではないが理解できた。 後は確率にどう繋がっていくのか…

オッズ比均質性の検定

共通オッズ比の検定 (test for common odds ratio) は Mantel-Haenszel test を中心に、入門書でも結構詳細に解説してあるものが多いと思う。 Mantel-Haenszel test の原典[1]は30ページ近くあり、かなり読むのが大変。純粋に統計の論文ではなく、後ろ向き研…