Triad sou.

統計

Time-dependent (varying) covariate / Time-dependent (varying) effect

比例ハザードモデルとその拡張のちょっとしたメモ。 色々調べると、time-dependent と time-varying は特に区別していない文献ばかりだった 当然 covariate と effect では意味が違うので注意 Proportional hazard $h(t, \mathbf{x}, \boldsymbol{\beta}) = …

Penalized quasi-likelihood について

GLMM の推定アルゴリズムに Penalized quasi-likelihood (PQL) という方法があるのですが、整理のためメモを書くことにしました。 PQL 混合効果モデルのパラメータ推定において、周辺尤度の積分を必要とする方法があることはよく知られていると思います。 GL…

Log-gamma distribution

A log-gamma random variable, $Y$, is defined as, \[ Y=\exp(-X) \] where $X \in [0, \infty)$ follows a gamma distribution, and $Y \in (0, 1]$. The probability density function of the log-gamma distribution is \[ f_Y(y)=\frac{b^a\left\{\log(…

行列のスカラー微分のメモ

$\mathbf{A}$, $\mathbf{B}$ について、スカラー $\theta$ で微分する場合を考える。 だたし、 \[ \mathbf{A}= \left\{ a_{ij} \right\}, \frac{\partial \mathbf{A}}{\partial \theta}= \left\{ \frac{\partial a_{ij}}{\partial \theta} \right\} \] とし…

一般化線型モデルの復習

仮定 確率分布 確率変数 $Y_i$ が互いに独立に canonical form の指数型分布族、 \[ f_{Y_i}(y_i)=\exp\left\{ [y_i \theta_i - b(\theta_i)] / \phi^2 - c(y_i, \phi) \right\}, \] に従う事を仮定する ($Y_i \overset{\rm{i.i.d.}}{\sim} f_{Y_i}(y_i)$)。…

最近のブーム

最近お勉強中のものをまとめてみよう。 推定関数、推定方程式 セミパラメトリックモデル Model miss-specification KLD Missing data 因果推論 情報幾何 数値解析 今までやってきたことが、いかに貧弱で、低レベルだったかということを再認識した。

On-line algorithm

分散のオンラインアルゴリズム (逐次更新計算)

負相関変量法・対称変量法

モンテカルロ法で積分値を推定する問題では、いくつかの分散減少法がしられています。 そのうちの一つである、antithetic variates method (負相関変量法・対称変量法) についてまとめてみようと思います。では、積分 \[ \int_a^b f(x) \mathrm{d}x= \int_0^…

単純モンテカルロ積分 (2)

今回も \[ \int_a^b f(x) \mathrm{d}x= \theta \] の様な積分値を推定する問題を考えます。このままでは $[0,\, 1]$ の一様乱数を利用できないので、 \[ x=a+(b-a)r \] \[ \frac{\mathrm{d}x}{\mathrm{d}r}=b-a \] \[ 0\leq r \leq 1 \] の置換積分を考えま…

単純モンテカルロ積分 (1)

単純モンテカルロ積分なんていう基礎的な事を復習してみました。自由度 $\nu=1$、分散共分散行列が \[ \mathbf{R}=\begin{pmatrix}1.0&0.7\\0.7&1.0\end{pmatrix} \] の 2 変量 $t$ 分布について、 \[ \int_{a_1}^{b_1}\int_{a_2}^{b_2}\mathrm{MVT}_2(t_1,\…

McNemar's test

以前は単なる対応データの割合が一致するかどうかの検定ぐらいの認識だったので、ちゃんと勉強してみようと思いました。 でも McNemar の原典 [3] を読むとさっぱり分からなかったので Kbauth 1985 [2] なども読みました。McNemar's test は、 \[ H_0:\, \pi…

Statistics Survays やら NCI The Biometric Research Branch の HP

お役立ちリンク情報。NCI The Biometric Research BranchReprints & Presentations から様々な文献がダウンロードできる。本もダウンロードできる、という情報を後輩からもらったので紹介。 Statistics SurvaysASA, IMS, Bernoulli, Statistical Society of …

正規線型モデルの条件付き推測

正規線型モデルとは書いたのですが、結局の所 $\mu$ なのか $X\beta$ なのかの違いだけなので、確率モデル \[ Y_{i} \overset{\mathrm{i.i.d.}}{\sim} \mathrm{N}(\mu, \s^2); i=1, \ldots, n, \] を考えます。この確率モデルのもとで、$\mathbf{Y}$ の同時…

局外パラメータを消す方法

最近勉強していると、必ずこの問題にぶつかるので、今のうちに整理しておこうと思う。 ここで、統計モデル \[ f(\mathbf{Y} \mid \boldsymbol{\theta}, \boldsymbol{\phi}), \] を考えよう ($\mathbf{Y}, \boldsymbol{\theta}, \boldsymbol{\phi}$ は全てベ…

t 分布の分布関数の導出

自由度 $\gamma$ の $t$ 分布の確率密度関数は、 \[ f(T=t\mid \gamma)= \frac{1}{\sqrt{\gamma}B\left(\frac{1}{2}, \frac{\gamma}{2}\right)}\left(1+\frac{t^2}{\gamma}\right)^{-\frac{1+\gamma}{2}} \] である。 ただし、$B(a, b)=\Gamma(a)\Gamma(b)/\…

指数型分布族

$n$ 個の独立な確率変数 $\mathbf{Y}$ が、$p$ 個のパラメータ $\boldsymbol{\theta}$ を持つ指数型分布に従うとすると、$\mathbf{Y}$ の確率密度関数は、 \[ \begin{align*} f(\mathbf{Y}=\mathbf{y} \mid \boldsymbol{\theta}) &= \left\{\prod_{i=1}^n f(…

一般化線型モデルと乱数

ちょっとだけ勉強したのでメモしておこう。 一般化線型モデル まず、確率変数ベクトル $\mathbf{Y}$ の期待値ベクトルを \[ \boldsymbol\theta=\mathrm{E}(\mathbf Y) \] と書いておきます。 一般化線型モデルと呼ばれている統計モデルでは、 \[ g(\boldsymb…

行列を用いない残差分散の不偏性の証明 (重み付き最小二乗法)

重み付き最小二乗法において、残差分散 \[ V_{e}= \frac{\sum_{i=1}^nw_i(Y_i-\hat{Y}_i)^2}{\phi_e},~ \phi_e=n-p \] が $\s^2$ の不偏推定量である事、すなわち \[ \mathrm{E}\left(\sum_{i=1}^n w_i e_i^2\right)=(n-p)\s^2 \] が成り立つ事を示したい。 …

Monte Carlo Error

新年初投稿、ちょっと調べ物をしたのでメモ。確率変数 $X$ の期待値 $\theta=\mathrm{E}(X)$ について、モンテカルロ法による近似を考える。 何らかの方法で、$X$ と同じ確率分布に従う $n$ 個の独立な乱数列 $X_i$ ($i=1, 2, \ldots, i, \ldots, n$) が得ら…

Satterthwaiteの近似 (2)

前回書いた結果をもとにして、ちゃんと近似できているのか試してみることにしました。 今回は Welch (1938) の (2) 式の統計量 \[ v=\frac{\bar{X}_1-\bar{X}_2}{\sqrt{\frac{V_1}{n_1}+\frac{V_2}{n_2}}} \] を導出する過程で出てくる分布の近似を考えてみ…

pivotal quantityと無情報事前分布

[1] の説明が分からなかったので、考えたり調べたりしていたら [2] を見つけることが出来た。 ある尤度関数 $p(y \mid \theta)$ に対して、無情報事前分布を構成する事を考える。 どんなパラメータ $h(\theta)$ に対して一様な事前分布を考えるかによって、$…

Satterthwaiteの近似 (1)

Biometrics Bulletin 1946 [2] を最初に読んだけど、詳しい話が書いてなかったので Psychometrika 1941 [1] を読んだ。概要は、不偏分散の推定量 \[ V_i=\frac{1}{\nu_i}\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_i)^2 \] の和の分布および、カイ二乗分布に従う確率…

重み付き最小自乗推定量と、不等分散下の最良線形不偏推定量

線型モデル $\mathbf{Y}=\mathbf{X}\mathbf{\beta}+\boldsymbol{\epsilon}$ において、不等分散下 \[ \mathrm{E}\left(\mathbf{Y}\right)= \mathbf{X}\mathbf{\beta}= \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1m} \\ x_{21} & x_{22} & \cdots & x_{…

t 統計量の分布

この発想はアートだと思う。 確率変数 $X_1, X_2, \ldots, X_i, \ldots, X_n$ が互いに独立に $\mathrm{N}(\mu, \s^2)$ に従うとき、統計量 \[ T=\frac{\bar{X}-\mu}{\sqrt{\frac{U^2}{n}}} \] は自由度 $n-1$ の $t$ 分布に従う。 ただし、 \[ \bar{X}=\fra…

リサンプリングを用いた多重比較

理論的な説明はとりあえずすっ飛ばして、 今回は、果たしてどういう計算をしているのか、という視点でまとめます。今回使うのは [1] に書かれている有名な方法で、一部では min P とも呼ばれるらしいです。 リサンプリングによって全ての比較が帰無仮説の時 …

Network Algorithm

ネットワークアルゴリズム。 日本語の解説ってあったっけ? 参考文献 [1] Mehta CR, Patel NR. A network algorithm for performing Fisher's Exact Test in r × c contingency tables. Journal of the American Statistical Association 1983; 78(382): 427…

スコア信頼区間

スコア信頼区間の求め方を復習。積二項分布モデルの尤度から、リスク比 $\phi=p_1/p_2$ のスコア信頼区間を求める。 スコア関数と Fisher 情報行列から $\mathbf{S}^t(\phi)\mathbf{I}^{-1}\mathbf{S}(\phi)=z^2$ をみたす $\phi_{L}$ と $\phi_{U}$ を求め…

2×2×k表の共通オッズ比の検定

共通オッズ比の検定の帰無仮説は、層の数を $k$ として第 $i$ 層のオッズ比を $\theta_i$ とすると、 \[ H_0: \psi_1=\psi_2=\ldots=\psi_k=\psi=1 \] \[ H_1: \mbox{not } H_0 \] 以下である。 これは、オッズ比均質性の検定よりは厳しい帰無仮説になってま…

ルベーグ積分

数学セミナー(81年10月号)を古本屋で買いました。 大学でニセ数学しか勉強していなかった私にとっては非常に分かりやすかった。 何で必要になったのかということと、何が出来るようになるのかも厳密にではないが理解できた。 後は確率にどう繋がっていくのか…

オッズ比均質性の検定

共通オッズ比の検定 (test for common odds ratio) は Mantel-Haenszel test を中心に、入門書でも結構詳細に解説してあるものが多いと思う。 Mantel-Haenszel test の原典[1]は30ページ近くあり、かなり読むのが大変。純粋に統計の論文ではなく、後ろ向き研…

ベイズ推定と交換可能性

交換可能性を満たす場合、$n$ 個の確率変数 $X_i$ ($i=1, 2, \ldots, n$) の同時確率 (密度) 関数において \[ p(x_1, x_2, \ldots, x_n)= p(x_{\s(1)}, x_{\s(2)}, \ldots, x_{\s(n)}), \] が成り立つ。 ただし、$\s$ は集合 $\{1, 2, \ldots, n\}$ に対する…

ラプラス近似 (3)

不完全ベータ関数の近似はまとめるほど理解できなかったので、また時間があるときにやろう。 今日はラプラス近似が何をしてるかを少しグラフィカルに検討した。 \[ \int_{\mathbf b\in R^q}\exp\{h(\mathbf b)\}d\mathbf b \simeq \exp\{h(\hat{\mathbf b})\…

不完全ベータ関数の近似 (2)

\[ p(\theta \mid y)=\int_{\theta_1}^{\theta_2}\begin{pmatrix}n \\ y\end{pmatrix}\theta^y(1-\theta)^{n-y}d\theta \] Laplace が使った近似を調べてるんだけど、$\theta^y(1-\theta)^{n-y}$ を $y/n$ の周りで展開して・・・、なんて言う話と、正規分布…

不完全ベータ関数の近似

Bayesian inference 勉強中。 prior distribution を一様分布で尤度が二項分布の時の posterior distribution は \[ p(\theta \mid y)=\frac{\displaystyle \int_{\theta_1}^{\theta_2} \begin{pmatrix}n \\ y\end{pmatrix} \theta^y(1-\theta)^{n-y} \mathr…

ラプラス近似 (2)

090217 の記事で挙げた Asymptotic methods in analysis を読んできた、1st ed. だった。 4.2 A general case, 4.6 Multiple integrals にきれいに書いてあった、前提条件も書いてある。 積分近似自体は Laplace のアイデアだから、The Laplace method for i…

ラプラス近似 (1)

積分のラプラス近似についてです。 だいぶ昔に [1] を引用して非線形混合効果モデルについて書いたことがあったのですが、積み残しを消化 (詳細を理解) するためにラプラス近似について調べてみました。ラプラス近似を見てなんじゃこりゃと思ったのが [1] p.…

ASA

いつの間にかASAから出てる論文がWebでフリーで読めるようになってる(2001年以降のものだけ)。 JASA, The American Statistician辺りはそこそこ読むので取り寄せないで済むから助かる。 後はProject Euclidも外せない。 Annals系は余り読む機会もないが、Ber…

層別解析とサブグループ解析

"Stratified analysis" "Subgroup analysis" で検索してみた。 HIT数が思ったより少ない。 自分はStatified analysisの方は層別解析、調整した解析として使っている。 Subgroup analysisの方は部分集団それぞれに対して通常の解析や層別解析を行うこと、とし…

StatLib

StatLib---Applied Statistics algorithms Applied Statistics(JRSS C)に載ったアルゴリズムのソースがみられる。 ほとんどFortran?

ノンパラメトリック回帰

ノンパラメトリック回帰は面白いなぁ。 SAS の Loess Procedure を使って解析してみたので、ついでに勉強しておきたい。 しかし、大学には教科書が無く、授業で取り扱うことが無かった。 今回は、竹澤邦夫先生のHP [1] を見てなにやらすごいことが分かり、そ…

分散安定化変換

分散安定化変換は、確率変数 $Y$ の期待値が $\mu$ で分散が $g(\mu)$、つまり $Y$ の分散が期待値の関数であるとし、$h(Y)$ の分散 $\mathrm{Var}\{h(Y)\}$ が漸近的に一定の値になるような変換 $h$ を考える方法です。 分散安定化変換 デルタ法を用いると…

HSPH Program on Causal Inference

Harvard School of Public Health PROGRAM ON CAUSAL INFERENCE in Epidemiology and Allied Sciences Harvard School of Public HelthのEpidemiologyとCausal InferenceのHP。 Publicationから、Robins先生の論文がかなり沢山ダウンロードできるようになっ…

傾向スコアと多重共線性

傾向スコアの推定には、全ての交絡因子によってスコアを推定しなければならないという条件がある。 傾向スコアの推定に全ての交絡因子をつっこんだときに、交絡因子間に多重共線性が生じていても問題ないの?と疑問に思った。 私の近くにいる人に質問したと…

要約データを用いた一元配置分散分析

面白そう、論文はいつか読む。 参考文献 [1] Larson DA. Analysis of Variance With Just Summary Statistics as Input. American Statistician 1992; 46: 151–152. [2] SAS Customer Support Center. Sample 524: One-way ANOVA on summary data. http://su…

要約データを用いたt検定

SASの便利機能。 各群の平均、標準偏差、サンプルサイズをデータセットに入れると検定結果が出る。 /* ダミーデータを作る */ data ttest; do group = 1 to 2; do i = 1 to 10; Value = group * 2 + rand('normal'); output; end; end; /* 要約データを用い…