独立性

若 $P{X \le x, Y \le y} = P{X \le x}P{Y \le y}$, 即 $F(x,y)=F_X(x)F_Y(y)$，则称随机变量 $X$ 和 $Y$ 是相互独立的.

1. 离散型随机变量 $(X, Y)$ 的联合分布律为 $P{X=x_i,Y=y_j}=p_{ij}$，则 $X$ 和 $Y$ 相互独立 $\Leftrightarrow P{X=x_i,Y=y_j}=P{X=x_i}P{Y=y_j}$.
2. 连续性随机变量 $(X, Y)$ 的概率密度为 $f(x, y)$, 边缘概率密度分别为 $f_X(x), f_Y(y)$，则 $X$ 和 $Y$ 相互独立 $\Leftrightarrow f(x, y) = f_X(x)f_Y(y)$ 一切连续点 $(x, y)$ 处几乎处处成立(在平面上除去面积为 0 的集合外，处处成立).

推广到多元

设 $n$ 维随机变量$(X_1, X_2, \cdots, X_n)$ 联合分布函数为 $F(x_1, x_2, \cdots, x_n)$, $X_k$ 的边缘分布函数为 $F_{Xk}(x_k), k=1,2,\cdots,n$

若

\[F(x_1, \cdots, x_n)=F_{X_1}(x_1)F_{X_2}(x_2)\cdots F_{X_n}(x_n)\]

则称随机变量 $X_1, X_2, \cdots, X_n$ 相互独立

离散型和连续型参考 $n=2$ 的情况。

推广到多维

设 $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 分布函数为 $F_X(x_1, x_2, \cdots, x_n)$，$m$ 维随机变量 $(Y_1, Y_2, \cdots, Y_m)$ 分布函数为 $F_Y(y_1, y_2, \cdots, y_m)$，$n+m$ 维随机变量 $(X_1, X_2, \cdots, X_n, Y_1, Y_2, \cdots, Y_m)$ 分布函数为 $F(x_1, x_2, \cdots, x_n, y_1, y_2, \cdots, y_m)$.

若

\[F(x_1, x_2, \dots, x_n, y_1, y_, \cdots, y_m)=F_X(x_1, x_2, \cdots, x_n)F_Y(y_1, y_2, \cdots, y_m)\]

则称 $n$ 维随机变量 $(X_1, X_2, \cdots, X_n)$ 与 $m$ 维随机变量 $(Y_1, Y_2, \cdots, Y_m)$ 独立.

两个随机变量的分布

离散型随机变量函数的分布

若二维离散型随机变量的分布律为 $P{X=x_i, Y=y_j}=p_{ij}, i,j=1,2,\cdots$

则随机变量函数 $Z=g(X, Y)$ 的分布律为

\[P\{Z=z_k\}=P\{g(X,Y)=z_k\}=\sum_{z_k=g(x_i,y_j)}p_{ij},\ k=1,2,\cdots\]

满足可加性的分布：蒲松分布和二项分布：

1. 设 $X \sim P(\lambda_1), Y \sim P(\lambda_2)$, 且 $X$ 与 $Y$ 独立，则 $X+Y \sim P(\lambda_1+\lambda_2)$
2. 设 $X \sim Ｂ(n_1, p), Y \sim B(n_2, p)$, 且 $X$ 与 $Y$ 独立，则 $X+Y \sim B(n_1+n_2, p))$

连续性随机变量函数的分布

已知连续性随机变量 $(X, Y)$ 的概率密度为 $f(x, y)$, $Z=g(X, Y)$，求 $Z$ 的概率密度或分布函数.

分布函数法

从求 $Z$ 的分布函数出发，关键在于把 $Z$ 的分布函数转化为 $(X, Y)$ 的事件

\[\begin{aligned} F_Z(z)&=P(Z \le z) \\ &= P(g(X, Y) \le z) \\ &= P\{(X, Y) \in D_z\}, D_z:\{(x, y) \vert g(x, y) \le z\} \\ &=\iint_{D_z} f(x, y) dxdy \end{aligned}\]

$Z=X+Y$ 的分布

设 $(X, Y)$ 的概率分布为 $f(x, y)$, 则 $Z=X+Y$ 的分布函数为 $F_Z(z)=P{Z \le z}$.

\[\begin{aligned} f_Z(z) &= \iint_{x+y \le z} f(x, y) dxdy \\ &= \int_{-\infty}^{+\infty}[\int_{-\infty}^{z-y}f(x, y)dx]dy \\ &\overset{x=u-y}{=} \int_{-\infty}^{+\infty}[\int_{-\infty}^{z}f(u-y,y)du]dy \\ &=\int_{-\infty}^z[{\color{red}\int_{-\infty}^{+\infty}f(u-y,y)dy}]du. \end{aligned}\]

因为 $u=x+y=z$，故 $f_Z(z)=\int_{-\infty}^{+\infty}f(z-y, y)dy$.

当 $X, Y$ 独立时，$f_Z(z)$ 可表示为 $f_Z(z)=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy$, 或 $f_Z(z)=\int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)dx$，称之为函数 $f_X(z)$ 与$f_Y(z)$ 的卷积$f_X(z)*f_Y(z)$.

一般，设 $X, Y$ 相互独立且 $X \sim N(\mu_1,\sigma_1^2)$, $Y \sim N(\mu_2,\sigma_2^2)$. 则 $Z=X+Y$ 仍然服从正态分布，且有 $Z \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$. 若 $(X, Y) \sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)$, 则 $X+Y \sim N(\mu_1+\mu_2,\sigma_1^2+2\rho\sigma_1\sigma_2+\sigma_2^2)$.

$\Gamma$ 分布

\[\Gamma(x)=\int_0^{+\infty}x^{a-1}e^{-x}dx\] \[B(a,b)=\int_0^1x^{a-1}(1-x)^{b-1}dx\] \[B(\alpha, \beta)=\dfrac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\]

设 $X_1, X_2$ 相互独立并且分别服从参数为 $\alpha_1, \beta$；$\alpha_2, \beta$ 的 $\Gamma$ 分布 $(X_1 \sim \Gamma(\alpha_1, \beta), X_2 \sim \Gamma(\alpha_2, \beta))$，$X_1, X_2$ 的概率密度分别为：

\[f_{X_1}(x)=\begin{cases} \dfrac{\beta}{\Gamma(\alpha_1)}(\beta x)^{\alpha_1-1}e^{-\beta x} &, x > 0 \\ 0 & \text{, 其他} \end{cases} \ \ \ ,\ \alpha_1 > 0, \beta > 0\] \[f_{X_2}(x)=\begin{cases} \dfrac{\beta}{\Gamma(\alpha_2)}(\beta x)^{\alpha_2-1}e^{-\beta x} &, y > 0 \\ 0 & \text{, 其他} \end{cases} \ \ \ ,\ \alpha_2 > 0, \beta > 0\]

$X_1 + X_2$ 服从参数为 $\alpha_1+\alpha_2, \beta$ 的 $\Gamma$ 分布。

\[f_{Z}(z)=\begin{cases} \dfrac{\beta}{\Gamma(\alpha_1+\alpha_2)}(\beta x)^{\alpha_1+\alpha_2-1}e^{-\beta z} &, z > 0 \\ 0 & \text{, 其他} \end{cases}\]

注1：此结论可推广到多元变量

注2：$X \sim \Gamma(1, \beta)$ 为指数分布 $E(\lambda)$，$X \sim \Gamma(\dfrac n 2, \dfrac 1 2)$ 为开方分布 $\chi^2(n)$ .

$Z=\dfrac X Y$ 的分布

设 $(X, Y)$ 的概率分布为 $f(x, y)$, 则 $Z=\dfrac X Y$ 的分布函数为

\[F_Z(z)=P\{Z \le z\} = \int_{-\infty}^z[{\color{red}\int_{-\infty}^{+\infty}\vert y\vert f(yz, y)dy}]dz\] \[f(z)=\int_{-\infty}^{+\infty}\vert y\vert f(yz, y)dy\]

当 $X, Y$ 独立时，$f(z)=\int_{-\infty}^{+\infty}\vert y\vert f_X(yz)f_Y(y))dy$.

$Z=XY$ 的分布

$f_{XY}(z)=\int_{-\infty}^{+\infty}\dfrac 1{\vert x\vert }f(x,\dfrac z x) dx$

$M=\text{max}(X,Y)$ 及 $N=\text{min}(X, Y)$

若 $X, Y$ 相互独立,

\[\begin{aligned} F_{\text{max}}(z)&=P\{M \le z\}\\&=P\{X \le z, Y \le z\}\\&=P\{X \le z\}P\{Y \le z\}\\ F_{\text{max}(x)}&=F_x(z)F_y(z) \end{aligned}\] \[\begin{aligned} F_{\text{min}}(z)&=P\{N \le z\}\\&=1-P\{N > z\}\\&=1-P\{X > z, Y > z\}\\&=P\{X > z\}\cdot P\{Y > z\}\\&=1-[1-P\{x \le z\}]\cdot[1-P\{Y \le z\}]\\&=1-[1-F_z(z)][1-F_Y(z)] \end{aligned}\]

可推广

随机变量变换法

定理：$(X, Y)$ 概率密度为 $f_{XY}(x, y)$，$P{(X,Y) \in D}=1$, 设变换 $\begin{cases}u=g_1(x, y)\v=g_2(x, y)\end{cases}$，当 $(x, y) \in D$ 时 $(u, v) \in G$, 若该变换满足：

1. $D \overset{\text{该变换}}\rightarrow G$ 时一一对应的
2. $g_1, g_2$ 在 $D$ 有连续的偏导数
3. $\dfrac{\partial(u,v)}{\partial(x, y)}=\left \vert \begin{matrix}\dfrac{\partial u}{\partial x} & \dfrac{\partial u}{\partial y}\\dfrac{\partial v}{\partial x} & \dfrac{\partial v}{\partial y}\end{matrix} \right \vert \neq 0$

即存在唯一的反函数

\[\begin{cases}x=h_1(u,v)\\ y=h_2(u,v)\end{cases}\]

则 $(U, V)$ 的概率密度 $f_{UV}(u,v)$ 为

\[f_{UV}(u,v)=\begin{cases}f_{XY}\left [h_1(u,v),h_2(u,v) \right ]\vert J\vert &, (u,v) \in G \\0 &, \text{其他}\end{cases}\]

其中雅各比行列式 $J=\dfrac{\partial(x,y)}{\partial(u, v)}, \vert J\vert$ 为雅各比行列式的绝对值