随机信号分析——概率 - 子木的文章 - 知乎 https://zhuanlan.zhihu.com/p/40316711

一、概率论

1.1 概率空间（ $S$ , $F$ , $P$ ）：样本空间 $S$ +事件域 $F$ +事件 $A$ 的概率 $P\left[ A\right]$

1.1.1常见随机现象的模型：

古典概率、几何概率、统计概率

1.1.2三个基本性质：

(1)0 $\leq$ $P\left[ A\right]$ $\leq$ 1;

(2) $P\left[ S\right]$ =1, $P\left[\phi\right]$ =0;

(3)若 $A_{1}$ 、 $A_{2}$ 、 $\cdot\cdot\cdot$ $A_{k}$ 是两两互不相交的事件则有

$P[\bigcup_{k=1}^{\infty} A_{k}]=\sum_{k=1}^{\infty}P[{A_{k}}]$

1.2 条件概率空间

1.2.1 条件概率

$P(A|B)=\frac{P(A,B)}{P(B)}$

1.2.2 全概率公式

若事件 $B_1,B_2,...,B_n$ 是样本空间S的一个划分，则有

$P(A) = \sum_{i=1}^n P(A, B_i)$

由条件概率公式得：

$P(A) = \sum_{i=1}^n P(B_i)P(A|B_i)$

1.2.3 贝叶斯公式

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

1.2.4 独立事件，统计独立

在概率空间（ $S$ , $F$ , $P$ ）中， $A\in F$ 、 $B\in F$ ，且 $P\left[ A\right]>0$ ，若 $P(A|B)=P\left[ B \right]$ 则称事件 $B$ 随机独立于事件 $A$ （简称 $B$ 独立于 $A$ ）。

$P\left[ A\cap B \right]=P\left[ A \right]\bullet P\left[ B\right]$

两事件的互斥和统计独立是两个完全不同的概念。

1.3 随机变量及其概率分布函数

1.3.1 随机变量

由于数学分析不能直接利用来研究集合函数。故，在集合函数与数学分析中研究的点函数间建立起某种联系。

随机变量就是原样本空间 $S$ 到一个新的样本空间 $S_{X}$ 的一种映，这种对应关系在概率空间（ $S$ , $F$ , $P$ ）称之为随机变量，用 $X\left( s \right)$ 表示。

1.3.2 离散型随机变量及其 分布列

随机变量 $X$ 只可能取有限个或一串值。

两个性质：

(1) $p_{n}\geq 0(n=0,1,2,\cdot\cdot\cdot)$

(2) $\sum_{n=1}^{\infty}{p_{n}} =1$

1.3.3 连续型随机变量及其 密度函数

随机变量 $X$ 的值不是集中在有限个或可列无穷个点上。

两个性质：

（1） $f_{X}\left( x \right)\geq0$

（2） $\int_{-\infty}^{\infty}f_{X}\left( x \right)dx=1$

1.3.4 分布函数及其性质

1. $F_{X}\left( x \right)$ 为非负，单调递增函数，即若 $x_{1\leq}x_{2}$ $x_{1},x_{2}\in R_{1}$ ，则

$F_{X}\left( x_{1} \right)\leq F_{X}\left( x_{2} \right)$ ，且 $0\leq F_{X}\left( x \right) \leq1$

2.右连续性，即

$\lim_{x \rightarrow a+0}{F_{X}\left( x \right)}=F_{X}\left( a \right)$ 。

3.令 $F_{X}\left( -\infty \right)=\lim_{x \rightarrow -\infty}{F_{X}\left( x \right)}，F_{X}\left( +\infty \right)=\lim_{x \rightarrow \infty}{F_{X}\left( x \right)}$ ，则

$F_{X}\left( -\infty \right)=0,F_{X}\left( +\infty \right)=1$ 。

还有一种既不是离散型也不是连续型的随机变量，称之为混合型随机变量。

1.4 多维随机变量及其分布函数

n个随机变量的总体称为n维随机变量。

1.4.1 二位分布函数及其基本性质

一. 二维联合分布函数：

$F_{XY}\left( x,y \right)$

4个基本性质：

1.分别对x，y单调递增；

2.对每个变量为右连续；

3. $\lim_{x \rightarrow -\infty}{F_{XY}(x,y)}=0,\lim_{y \rightarrow -\infty}{F_{XY}(x,y)}=0$

$\lim_{x \rightarrow \infty ,y \rightarrow \infty}{F_{XY}(x,y)}=1$

二，离散型概率分布函数

$P[(X,Y)=(x_{i},y_{j})] =p_{ij} (i,j=1,2...)$

三，连续型分布函数

$F_{XY}(x,y)=\int_{-\infty}^{x}\int_{-\infty}^{y}f_{XY}(u,v)dudv$

1.4.2 边沿分布

$F_{1}\left( x \right)=F(x,\infty),F_{2}\left( y \right)=F(\infty,y)$

$f_{1}\left( x \right),f_{2}\left( y \right)$ 分别为 $X,Y$ 的密度函数。

1.4.3 相互独立的随机变量与条件分布

（一），相互独立的随机变

1.设 $X,Y$ 是两个随机变量，若对任意实数 $x,y$ 有

$P[X\leq x ,Y\leq y]=P[X\leq x]P[Y\leq y]$

则称 $X,Y$ 为相互独立的随机变量。

若 $F_{XY}(x,y)$ 是 $（X,Y）$ 的联合分布函数，则上式等价于

$F_{XY}(x,y)=F_{X}\left( x \right)F_{Y}\left( y \right)$

若 $（X,Y）$ 是连续型随机变量，其密度函数满足

$f_{XY}(x,y)=f_{X}\left( x \right)f_{Y}\left( y \right)$

联合密度决定了边沿密度，而边沿密度不能决定联合密度。

（二），条件分布与条件密度函数

$Y=y$ 条件下， $Y$ 的条件概率密度:

$f_{Y|X}\left( y|x \right)=\frac{f_{XY}\left( x,y \right)}{f_{X}\left( x \right)}$

$X=x$ 条件下， $X$ 的条件概率密度:

$f_{X|Y}\left( x|y \right)=\frac{f_{XY}\left( x,y \right)}{f_{Y}\left( y \right)}$

1.5 随机变量函数的分布

1.5.1 一维随机变量函数的分布

设Y和X存在单调函数关系，并存在反函数 $X=h(Y)$ ，此时，

若 $X$ 位于 $（x_{0}，x_{0}+dx）$ 很小的一个区间内，则 $Y$ 必位于 $（y_{0}，y_{0}+dx）$ 的一个相应区间内。实质上他们是同一个随机事件，概率相等。即

$f_{Y}\left( y\right)dy=f_{X}\left( x\right)dx$

则

$f_{Y}\left( y\right)=f_{X}\left( x \right)\frac{dx}{dy}$

1.5.2 二维随机变量函数的分布

（一）. 设 $x=x(u,v),\quad y=y(u,v)$
雅可比行列式：

$\mathbf J=|\frac{\partial (x,y)}{\partial (u,v)}| = \begin{vmatrix} x_u & x_v \\ y_u & y_v \\ \end{vmatrix}$

（二）.一些利用联合变量推导出的随机变量

1.两个独立正态随机变量 $X\sim N\left(m_{x},\sigma_{x}^{2} \right ),Y\sim N\left(m_{y},\sigma_{y}^{2} \right )$ ,其和 $Z=X+Y$ 也是正态随机变量。

$Z\sim N\left(m_{x}+m_{y},\sigma_{x}^{2}+\sigma_{y}^{2} \right )$

2.两个独立正态随机变量具有相同的柯西分布，如

$f_{X}\left( x \right)=\frac{a}{\pi\left( x^{2}+a^{2} \right)}$

其和 $Z=X+Y$ 也是柯西分布的随机变量。

$\bullet\bullet\bullet$

1.5.3 二维正态随机变量函数的变换

（一）.平面直角坐标上两个彼此独立的正态分布的随机变量，经极坐标变换成随机变量后，其模服从瑞利分布，相位 $\phi$ 服从均匀分布，且Z， $\phi$ 也是相互独立的随机变量。

(二).借助于坐标的旋转变换可将两个彼此独立的正态随机变量变换成两个相关的正态随机变量。反之，如果两个正态随机变量是彼此相关的，也可借助坐标旋转某一个角度使其变为两个独立的正态随机变量。

1.6 随机变量的数字特征

1.6.1 统计平均值与随机变量的期望值

算术平均 $\bar{X}=\sum_{k=1}^{m}{x_{k}\left( \frac{n_{k}}{n} \right)}$

数学期望 $E\left( X \right)=\int_{-\infty}^{\infty} xf_{X}\left( x \right)dx$ ,或

$E\left( X \right)=\sum_{k=1}^{\infty}{x_{k}P\left[ X=x_{k} \right]}$

1.6.2 随机变量函数的期望值

$E\left( Y \right)=\int_{-\infty}^{\infty} g\left( x \right)f_{X}\left( x \right)dx$

1.6.3 条件数学期望

$E\left( Y|X=x_{j} \right)=\int_{-\infty}^{\infty} yf_{Y|X}\left( y|X=x_{j} \right)dy$

由此可得

$E\left[ Y \right]=\sum_{j}^{ }{E[Y|X=x_{j}]P\left[ X=x_{k} \right]}$

1.6.4 随机变量的各阶矩

1.k阶原点矩

$m_{k}=E[X^{k}]$

2.k阶中心矩

$\mu_{k}=E[(X-E[X])^{k}]$

3.联合矩

$E\left[ X^{j}Y^{k} \right]$

随机信号知识点总结

随机信号分析——概率 - 子木的文章 - 知乎 https://zhuanlan.zhihu.com/p/40316711

一、概率论