二项分布及相关
二项分布
（Binomial Distribution）
n次独立重复实验，每次实验的成功概率为p，若成功实验的次数为x，
\[p(x)=C_n^xp^x(1-p)^{1-x}\]期望：$E(X)=np$
方差：$Var(X)=np(1-p)$
矩母函数：$M(t)=[(1-p)+pe^t]^n$
特殊性质
若 $X_1,X_2,…,X_n$ 相互独立，$X_i \text{~} b(n_i,p)$，则 $Y=\sum_{i=1}^mX_i \text{~} b(\sum_{i=1}^mX_i,p)$
负二项分布
（Negative Binomial Distribution）
独立重复实验，每次实验的成功概率为p，若y为第r次成功实验前所需的失败次数
\[p(x)=C_{x+r-1}^rp^{r-1}(1-p)^x\]矩母函数：$M(t)=p^r[1-(1-p)e^t]^{-r}$
几何分布
（Geometric Distribution）
当负二项分布中 $r=1$ 时，
\[p(x)=p(1-p)^y\]矩母函数：$M(t)=p[1-(1-p)e^t]^{-1}$
三项分布
（Trinomial Distribution）
\[p(x,y)=\frac{n!}{x!y!(n-x-y)!}p_1^xp_2^yp_3^{n-x-y}\]矩母函数：$M(t_1,t_2)=(p_1e^{t_1}+p_2e^{t_2}+p_3)^n$
特殊性质
边际矩母函数：$M(t_1,0)=(（1-p_1)+p_1e^{t_1})^n$, $M(0,t_2)=(（1-p_2)+p_2e^{t_2})^n$
$\rightarrow$ X、Y独立
超几何分布
（Hypergeometric Distribution）
N个样品，其中包含D个次品，设X表示样本量为n时的次品数，
\[p(x)=\frac{C_{N-D}^{n-x}C_D^x}{C_N^n}\]均值：$E(X)=n\frac{D}{N}$
方差：$Var(X)=n\frac{D}{N}\frac{N-D}{N}\frac{N-n}{N-1}$
泊松分布
泊松分布
（Poisson Distribution）
\[p(x)= \begin{cases} \frac{m^xe^{-m}}{x!} & x=0,1,2,3,... \\ 0 & otherwise \end{cases}\]矩母函数：$M(t)=e^{m(e^t-1)}$
期望：$E(X)=m$
方差：$VAR(X)=m$
特殊性质
若 $X_1,X_2,…,X_n$ 相互独立，$X_i \text{~Poisson}(m_i)$，则 $Y=\sum_{i=1}^nX_i \text{~Poisson}(\sum_{i=1}^nm_i)$
伽马分布及相关
伽马分布
（Gamma Distribution）
引入
伽马函数：$\Gamma(\alpha)=\int_0^\infty y^{\alpha-1}e^{-y}dy$
$\Gamma(\alpha)=(\alpha-1)! \ for \ \alpha \in N$
基本性质
\[f(x)= \begin{cases} \frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-x/\beta} & 0<x<\infty\\ 0 & elsewhere \end{cases}\]记作 $\Gamma(\alpha, \beta)$
矩母函数：$M(t)=\frac{1}{(1-\beta t)^\alpha}, \ t<\frac{1}{\beta}$
期望：$E(X)=\alpha\beta$
方差：$Var(X)=\alpha\beta^2$
指数分布
（Exponential Distribution）
若 $\alpha=1, \ \beta=\frac{1}{\lambda}$ ，则
\[f(x)= \begin{cases} \lambda e^{-\lambda x} & 0<x<\infty \\ 0 & elsewhere \end{cases}\]称为参数为 $\lambda$ 的指数分布
特殊性质
(1)
\(E(X^k)=\frac{2^k\Gamma(\frac{r}{2}+k)} {\Gamma(\frac{r}{2})}, \ if \ k>-\frac{r}{2}\)
(2)
若 $X_1,X_2,…,X_n$ 相互独立，$X_i \text{~} \Gamma(\alpha_i,\beta)$，则 $Y=\sum_{i=1}^nX_i \text{~} \Gamma(\sum_{i=1}^n\alpha_i,\beta)$
卡方分布
（Chi-square Distribution）
若 $\alpha=r/2 \ (r \in N), \ \beta=2$
\[f(x)= \begin{cases} \frac{1}{\Gamma(\frac{r}{2})2^{\frac{r}{2}}}x^{\frac{r}{2}-1}e^{-\frac{r}{2}} & 0<x<\infty \\ 0 & elsewhere \end{cases}\]其中 $r$ 称为卡方分布的自由度，记作 $\chi^2(r)$
矩母函数：$M(t)=(1-2t)^{-\frac{r}{2}}$
期望：$E(X)=r$
方差：$Var(X)=2r$
特殊性质
若 $X_1,X_2,…,X_n$ 相互独立，$X_i \text{~} \chi^2(r_i)$，则 $Y=\sum_{i=1}^nX_i \text{~} \chi^2(\sum_{i=1}^nr_i)$
贝塔分布
（Beta Distribution）
若考虑新变量 $Y_1=X_1+X_2$ 和 $Y_2=\frac{X_1} {X_1+X_2}$，则 $Y_2$ 的边际密度函数为
\[f(x)=\frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\]参看
正态分布及相关
正态分布
（Normal Distribution）
引入
标准正态分布
\[f(y)=\frac{1}{\sqrt{2\pi}}e^{\frac{-y^2}{2}}, \ -\infty<y<\infty\]即 $N(0, 1)$，常记 $\phi(x) = \frac{1}{\sqrt{2\pi}}e^{\frac{-x^2}{2}}$
矩母函数：$M(t)=e^{\frac{1}{2}t^2}$
基本性质
一般正态分布
若 $X=\sigma Y+\mu$
\[f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}, \ -\infty<x<\infty\]记作 $N(\mu, \sigma^2)$
矩母函数：$M(t)=e^{\mu t+\frac{1}{2}\sigma^2t^2}$
期望：$E(X)=\mu$
方差：$Var(X)=\sigma^2$
特殊性质
(1)
$X \text{~} N(\mu, \sigma^2) \Leftrightarrow Z=\frac{X-\mu}{\sigma} \text{~} N(0,1)$
(2)
若 $X \text{~} N(\mu, \sigma^2)$，则 $V=\frac{(X-\mu)^2}{\sigma^2} \text{~} \chi^2(1)$.
多元正态分布
（Multivariate Normal Distribution）
引入
基本性质
记作 $N_n(\boldsymbol\mu, \boldsymbol\Sigma)$
若 $\Sigma$ 是非奇异矩阵（即可逆矩阵），则密度函数有显式表达
\[f(\mathbf x)=\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}e^{-\frac{1}{2} (\mathbf x-\boldsymbol\mu)^T\Sigma^{-1}(\mathbf x-\boldsymbol\mu)}, \ \mathbf x \in \mathbf R^n\]矩母函数：$M_X(t)=e^{t^T\mu+\frac{1}{2} t^T \Sigma t}$
特殊性质
若 $\mathbf X \text{~} N_n(\boldsymbol\mu, \boldsymbol\Sigma)$，则 $\mathbf Y=\mathbf{AX}+\mathbf b \text{~} N_m(\boldsymbol{A\mu}+\mathbf b, \boldsymbol{A\Sigma A}^T)$
t-分布和F-分布
t-分布
（t-distribution）
若 $W \text{~} N(0, 1), \ V \text{~} \chi^2(r)$，且相互独立，令 $T=\frac{W}{\sqrt{V/r}}$
\[f(t;r)=\frac {\Gamma (\frac {r+1}{2})}{\sqrt{\pi r \, }\,\Gamma (\frac {r}{2})}(1+\frac {t^{2}}{r})^{\frac {-(r+1)}{2}}, \ -\infty<t<\infty\]期望：$E(T)=0, \ \text{if} \ r>1$
方差：$Var(T)=\begin{cases}\frac{r}{r-2} & \text{if} \ r>2 \ \infty & \text{if} \ 1<r\leq2 \end{cases}$
F-分布
（F-distribution）
若 $U \text~ \chi^2(r_1), V \text~ \chi^2(r_2)$，令 $X=\frac{U/r_1}{V/r_2}$
\[f(x;r_{1},r_{2})= \frac{1}{\mathrm{B} \!\left({\frac{r_{1}}{2}},{\frac{r_{2}}{2}}\right)} \left( \frac{r_{1}}{r_{2}} \right) ^{\frac{r_{1}}{2}}x^{\frac{r_{1}}{2}-1} \left( 1+\frac{r_{1}}{r_{2}}\,x \right) ^{-\frac{r_{1}+r_{2}}{2}}, \ 0<w<\infty\]期望：$E(X)=\frac{r_2}{r_2-2}, \ \text{if} \ r_2>2 $
方差：$Var(X)=\frac {2\,r_{2}^{2}\,(r_{1}+r_{2}-2)}{r_{1}(r_{2}-2)^{2}(r_{2}-4)}, \ \text{for} \ r_2>4$