ECE 313 Collection

表格汇总

table date, categories
from #ECE313
sort date

参考资料

• UIUC 官方讲义
  Probability Note.pdf

复习纲要

概率基础

1. 期望与方差

注意方差与标准差的关系

2. 条件概率

$$\begin{array}{rlr}& P(B|A)=\frac{P(AB)}{P(A)}\text{ if }P(A)>0& P(ABC)=P(C)P(B|C)P(A|BC)\end{array}$$

3. 独立事件与独立变量

$$\begin{array}{rlr}& P(AB)=P(A)P(B)& P(A^{c}B)=P(B)-P(AB)\end{array}$$

注意衡量多个独立事件是否独立时，他们的任意子集均需满足独立事件的条件

4. 最大似然估计
核心即为在

• 给定观测结果情况下估测最大可能的对应参数
• 给定参数估计最大可能的观测结果

对于连续性随机变量的 ML Parameter Estimation: 我们依然考虑选取能使对应采样结果最大所对应的参数，其中对应采样结果的参数概率通过在临近区间内积分确定

$$\text{Missing or unrecognized delimiter for left}$$

5. 不等式与估计

• 马尔可夫不等式：估计非负随机变量的均值

$$P(Y\ge c)\le \frac{E[Y]}{c}$$

• 切比雪夫不等式：利用方差估计分布的均匀性（注意与置信区间与中心极限定理的结合）

$$P(|X-\mu |\ge d)\le \frac{{\sigma }^2}{d^2}$$

• 置信区间
  考虑用小样本对实际情况建模，将其模拟为二项分布
  
  

6. 全概率定律与贝叶斯定理

• 全概率定理：对整个概率空间选取某一组事件的划分

$$P(A)=P(A{E}_1)+\dots P(A{E}_k)=P(A|E_1)P(E_1)+\cdots +P(A|E_k)P(E_k)$$

• 贝叶斯公式

$$P(E_i|A)=\frac{P(A{E}_i)}{P(A)}=\frac{P(A{E}_i)}{P(A{E}_1)+\dots P(A{E}_k)}$$

利用全概率定理计算均值

$$\begin{array}{rlrl}& E[X|A]=\sum _i{u}_{i}P(X=u_i|A)& E(g(X)|A)=\sum _{i}g(u_i)P(X=u_i|A)& E[X]=\sum _{j=1}^{J}E[X|E_j]P(E_j)\end{array}$$

7. Binary Hypothesis
每一种假设对应离散型随机变量不同的概率密度函数，最终构成一个似然矩阵。注意两种假设互斥，但不一定成立，系统最终的输出结果根据确定的 decision rule 既可能 $H_1$ 也可能为 $H_0$

$$\begin{array}{rlrlr}& p_{falsealarm}=P(\text{declare H1 true| H0})& p_{miss}=P(\text{declare H0 true| H1})& p_e={\pi }_0{p}_{falsealarm}+{\pi }_1{p}_{miss}& \text{先定义ratio }\mathrm{\Lambda }(k)=\frac{p_1(k)}{p_0(k)}=\frac{f_1(u)}{f_2(u)}\end{array}$$

注意对于离散型与连续型随机变量都可以从 Ratio 角度得到最终结果
对于连续性随机变量，求 false alarm 与 miss 时即为考虑在对应 X 的区间范围内 pdf 的积分

• ML 最大似然决定 ->哪种假设对应的变量取值概率即选
  $\mathrm{\Lambda }(X)>1$ -> declare $H_1$ is true
  $\mathrm{\Lambda }(X)<1$ -> declare $H_0$ is true
• MAP: 考虑引入先验概率，再根据后验概率大小决定

$$\begin{array}{rlr}& P(H_i,X=k)={\pi }_i{p}_i(k)& \tau =\frac{{\pi }_0}{{\pi }_1}\end{array}$$

8. Union bound 估计
考虑容斥原理，有

$$P(A\cup B)\le P(A)+P(B)$$

核心为将代求事件表示为一些事件的并集进行上界估计

例题:

9. 大数定理
LLN 建模基于的情境：
给定一系列均值相同的独立（或弱相关的）的随机变量，同时对随机变量的规模有一定要求，LLN 认为当随机变量个数趋于无穷时，他们和的均值收敛于一个定值

10. 中心极限定理

认为多个独立相同分布的随机变量（均值与方差均有限），他们和的分布标准化后趋于高斯分布

应用 1：利用 CLT 近似二项分布（因为其可以表示为多个伯努利分布的和）
注意有时需要对高斯近似用 Continuity Correction

$$\begin{array}{rlrl}& P(X\le k)\approx P(\tilde{X}\le k+0.5)& P(X\ge k)\approx P(\tilde{X}\ge k-0.5)& P(X=k)\approx {\int }_{k-0.5}^{k+0.5}{f}_X(u)du\end{array}$$

离散型随机变量

1. 伯努利分布：两点分布

$$\begin{array}{rlrlr}& P(X=1)=p,& P(X=0)=1-p& E[X]=p,& Var(X)=p-p^2\end{array}$$

2. 二项分布: n 次独立的伯努利实验,考察 1 出现的次数的概率

$$\begin{array}{rlrl}& p_X(k)=C_n^k{p}^k(1-p{)}^{n-k}& E[x]=np,Var(X)=np(1-p)& \sum C_n^k{p}^k(1-p{)}^{n-k}=1\end{array}$$

3. 几何分布：进行一系列伯努利实验首次出现 1 进行的实验次数对应的概率

$$\begin{array}{rlrlr}& \sum _{k=1}^{\mathrm{\infty }}(1-p{)}^{k-1}p=1& p_L(k)=(1-p{)}^{k-1}p,P(L>k)=(1-p{)}^k& E[L]=\frac{1}{p},Var(L)=\frac{1-p}{p^2}& \text{Memoryless Property: }P(L>k+n|L>n)=P(L>k)\end{array}$$

4. 伯努利过程与负二项分布
考虑进行无限次伯努利实验，得到 $j$ 个 1 所累积进行的实验次数 $S_j$
考虑 $S_r$ 所满足的概率分布为负二项分布,参数为 r,p

$$\begin{array}{rlrl}& p(n)=C_{n-1}^{r-1}{p}^r(1-p{)}^{n-r}& E[S_r]=rE[L_1]=\frac{r}{p}& Var(S_r)=rVar(L_i)=\frac{r(1-p)}{p^2}\end{array}$$

5. 泊松分布 -> 对于 n 很大 p 很小的二项分布进行近似

近似时考虑 $np=\lambda$，近似原理考虑二项分布 n 趋于无穷情况

$$\begin{array}{rlr}& p(k)=\frac{e^{-\lambda }{\lambda }^k}{k!}& E[Y]=\lambda ,Var(Y)=\lambda \end{array}$$

连续型随机变量

1. pdf 与 cdf
记累计分布函数 CDF 为 $F_X$, 概率密度函数为 $f_X$ 则我们有
当 CDF 取值连续时，我们有任意点取值的概率均为 0

$$\begin{array}{rlrlr}& F_x(c)=P\omega :X(\omega )\le c=P(X\le c)& F(x-)=\underset{y\to x,y<x}{lim}F(y),F(x+)=\underset{y\to x,y>x}{lim}F(y)& \mathrm{\Delta }{F}_X(x)=F_X(x)-F_X(x-)& P(X=c)=\mathrm{\Delta }{F}_X(c),P(X<c)=F_X(c-)\end{array}$$

如何推导 CDF 及其对应的 PDF->考虑先根据事件定义求出 CDF 再微分求 PDF

$$F_X(c)={\int }_{-\mathrm{\infty }}^c{f}_X(u)du$$

基于 CDF 与 PDF 的概率与均值方差

$$\begin{array}{rlrlr}& P(a<X\le b)=F_X(b)-F_X(a)& E[X]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}u{f}_x(u)du& Var(X)=E[X^2]-E^2[X]& Var(g(X))={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(u{)}^2{f}_X(u)du-{({\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(u)g_X(u)du)}^2\end{array}$$

2. 均匀分布 ->在支持集上 pdf 为常数

$$\begin{array}{rlr}& f_X(u)=\frac{1}{b-a},a\le u\le b& E[X]=\frac{a+b}{2},Var(X)=\frac{(a-b{)}^2}{12},E[X^k]=\frac{1}{k+1}\end{array}$$

3. 指数分布 ->几何分布连续时取极限的情况

$$\begin{array}{rlrlr}& f_T(t)=\lambda e^{-\lambda t},t\ge 0& F_T(t)=1-e^{-\lambda t},t\ge 0& E[T^n]=\frac{n!}{{\lambda }^n},E[T]=\frac{1}{\lambda },Var(T)=\frac{1}{{\lambda }^2}& \text{Memoryless Property: }P(T>s+t|T>s)=e^{-\lambda t}=P(T>t)\end{array}$$

将 $\lambda$ 理解为失败概率, 转化有 $p=\lambda h$
4. 泊松过程
指数分布本质上为几何分布的极限 ->泊松过程本质上为伯努利过程的极限

• $U_j=h{L}_j$ 前 $j-1$ 次 count 与 $j$ 次 count 之间的时间间隔，服从 exponential distribution,参数为 $\lambda =\frac{p}{h}$
• $N_t=C_{\frac{t}{h}}$ 时间为 t 时出现的 count 次数，服从于二项分布，近似为泊松分布，均值为 $\lambda t$
• $T_j=h{S}_j$ 为出现 j 次 count 所用的时间
  性质: 对于参数为 $\lambda$ 的泊松过程，我们有
• N 的增量相互独立 -> $N_t-N_s$ 满足 $Poi(\lambda (t-s))$ （泊松分布）
• 相邻的 count 所用时间 $U_1,U_2,\dots$ 相互独立，满足参数为 $\lambda$ 的指数分布

5. 埃尔朗分布
$T_r$ 记为泊松过程中 $r^{th}$ count 所用的时间， $T_r=U_1+\cdots +U_r$, 其中 $U_1,\dots ,U_r$ 为相互独立的指数分布随机变量，参数为 $\lambda$, 可以理解为 r 个独立随机过程的加和

$$\begin{array}{rlrl}& f_{T_r}(t)=\frac{e^{-\lambda t}{\lambda }^r{t}^{r-1}}{(r-1)!}& E(T_r)=\frac{r}{\lambda }& Var(T_r)=\frac{r}{{\lambda }^2}\end{array}$$

6. Linear Scaling 与高斯分布

• 对于线性变换 $Y=aX+b$,我们有

$$\begin{array}{rlrl}& f_Y(v)=f_X\left(\frac{v-b}{a}\right)\frac{1}{a}& F_Y(v)=P(aX+b\le v)=F_X\left(\frac{v-b}{a}\right)& E[Y]=aE[X]+b,Var(Y)=a^{2}Var(X)\end{array}$$

• 高斯分布：对于一般的高斯分布 $Y\sim N(\mu ,\sigma )$

$$f_Y(v)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-(v-\mu {)}^2/2{\sigma }^2}$$

$\mathrm{\Phi }(u)$ 表示对于标准正态分布从负无穷积到 u 的概率
$Q(u)$ 表示对于标准正态分布从 u 积到正无穷的概率
注意不同 $\sigma$ 对应的分布概率 68.3 -> 95.5 -> 99.7

$$Q(u)=1-\mathrm{\Phi }(u)=\mathrm{\Phi }(-u)$$

当计算非标准正态分布的概率时，常常通过 Linear Scaling 返回到标准正态函数利用 $\mathrm{\Phi }$ 或者 $Q$ 计算

$$\begin{array}{rlr}& P(Y\le u)=P(\frac{Y-\mu }{\sigma }\le \frac{u-\mu }{\sigma })=\mathrm{\Phi }\left(\frac{u-\mu }{\sigma }\right)& P(Y>u)=1-\mathrm{\Phi }\left(\frac{u-\mu }{\sigma }\right)\end{array}$$

联合分布随机变量

基础

1. 联合 CDF

$$\begin{array}{rlr}& F_{X,Y}(u_0,v_0)=PX\le u_0,Y\le v_0& P((X,Y)\in R)=F_{X,Y}(b,d)-F_{X,Y}(b,c)-F_{X,Y}(a,d)+F_{X,Y}(a,c)\end{array}$$

2. 联合 pmf 或 pdf
离散型 ->联合 pmf

$$\begin{array}{rlrl}& P_{X,Y}(u,v)=P(X=u,Y=v)& \text{Marginal pmf }{p}_X(u)=\sum _j{p}_{X,Y}(u,v_j)& \text{Conditional pmf }{P}_{Y|X}(v|u_0)=P(Y=v|X=u_0)=\frac{P_{X,Y}(u_0,v)}{P_X(u_0)}\end{array}$$

连续型 ->联合 pdf

$$\begin{array}{rlrl}& F_{X,Y}(u_0,v_0)={\int }_{-\mathrm{\infty }}^{u_0}{\int }_{-\mathrm{\infty }}^{v_0}{f}_{X,Y}(u,v)dudv& \text{Marginal pdf }{f}_X(u)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_{X,Y}(u,v)dv={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_Y(v)f_{X|Y}(u|v)du& \text{Conditional pdf }{f}_{Y|X}(v|u_0)=\frac{f_{X,Y}(u_0,v)}{f_X(u_0)}\end{array}$$

3. 期望

$$\begin{array}{rlrl}& E[g(X,Y)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(u,v)f_{X,Y}(u,v)dudv& E[X]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}u{f}_{X,Y}(u,v)dudv& E[Y]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}v{f}_{X,Y}(u,v)dudv\end{array}$$

条件期望: 注意 $E[Y

X=u]$\mathrm{可}\mathrm{以}\mathrm{视}\mathrm{为}\mathrm{关}\mathrm{于}$u$\mathrm{的}\mathrm{函}\mathrm{数}，\mathrm{则}$E[Y

X]$\mathrm{可}\mathrm{以}\mathrm{视}\mathrm{为}\mathrm{关}\mathrm{于}$X$ 的函数

$$E[Y|X=u]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}v{f}_{Y|X}(v|u)dv$$

4. 独立性
两随机变量相互独立的条件：

$$ \begin{align} & \text{CDF: } F_{X,Y}(u_{0},v_{0})=F_{X}(u_{0})F_{Y}(v_{0})
& \text{PDF: } f_{X,Y}(u,v)=f_{X}(u)f_{Y}(v)
& \text{条件概率角度，充要：}
& f_{Y|X}(v|u) =f_{Y}(v) \

\end{align} $$

X,Y 为相互独立的联合分布连续随机变量，则 $f_{X,Y}$ 支撑集为 product set

Joint pdfs of functions of random variables

• 线性变换 $\left(\begin{array}{c}W\text{Z}\end{array}\right)=A\left(\begin{array}{c}X\text{Y}\end{array}\right)$

$$f_{W,Z}(\alpha ,\beta )=\frac{1}{|detA|}{f}_{X,Y}(A^{-1}\left(\begin{array}{c}\alpha \beta \end{array}\right))$$

• 一般的一一映射 ->利用 Jacobi Matirx 衡量变化
  
• 多对一：考虑所有满足情况的原像的求和

相关系数与协方差

$$\begin{array}{rlr}& \text{Cov}(X,Y)=E[XY]-E[X]E[Y]& E[XY]=\int \int uv{F}_{X,Y}(u,v)dudv\end{array}$$

• 无关定义：

$$\begin{array}{rlrl}& \text{Cov}(X,Y)=0({\rho }_{X,Y}=0)\to \text{Uncorrelated}& \text{Cov}(X,Y)>0({\rho }_{X,Y}>0)\to \text{Positively Correlated}& \text{Cov}(X,Y)<0({\rho }_{X,Y}<0)\to \text{Negatively Correlated}\end{array}$$

• 无关与独立关系
  1. 两变量独立时一定无关:

$$\text{Cov}(X,Y)=E[XY]-E[X]E[Y]=E[X]E[Y]-E[X]E[Y]=0$$

1. 两变量无关时不一定独立，独立性质比无关强
2. 多变量无关只需考虑每一对之间相互无关即可，但是多变量相互独立需要考虑对于其组合的任意子集均满足独立的性质
   协方差性质: 线性，添加常数不改变

$$Cov(aX+bY,cX+dY)=acVar(x)+bdVar(Y)+(ad+bc)Cov(X,Y)$$

$${\rho }_{aX+b,cY+d}={\rho }_{X,Y}\text{ for }a,c>0$$

相关系数的绝对值越接近 1，随机变量的线性相关性越强

应用

1. 随机变量的函数
考察随机变量经过映射后的分布情况
问题情境：已知一个随机变量 X 的概率分布，希望知道经过函数映射 $Y=F(X)$ 的概率分布
一般思路

• 确定 X 与 Y 的支持集,可以先画 Y 关于 X 的函数图像，精准确定 Y 的定义域及其与对应 X 的值的对应关系，确定 Y 为离散型随机变量还是连续性随机变量
• 可以通过画图确定，当 Y 对应小于某个值时对应 x 的精确取值范围区间，防止出错
  1. 对于连续性随机变量：
     首先寻找 Y 的 CDF:(注意关注需要考虑 c 可取哪些值)

$$F_Y(c)=PY\le c=Pg(X)\le c$$

然后对 Y 的 CDF 进行微分即可得到对应的 pdf

1. 对于离散型随机变量：
   直接计算：

$$p_Y(v)=PY=v=Pg(X)=v={\int }_{u:g(u)=v}{f}_X(u)du$$

逆函数
映射的函数为单调递增函数时，我们可以直接利用逆函数找到良好的对应关系

$$\begin{array}{rlr}& F_Y(c)=F_X(g^{-1}(c))& f_Y(c)=f_X(g^{-1}(c))\frac{1}{g^{‘}(g^{-1}(c))}\end{array}$$

生成满足特定分布的随机变量
问题情境
记 $F$ 为满足条件的 CDF 函数， $U$ 为在区间 $[0,1]$ 上均匀分布的随机变量，目的是找到一个函数 $g$ 使得 $F$ 为 $g(U)$ 的 CDF

解决：即为在均匀分布的随机变量上进行给定 CDF 函数的逆映射

• 确定 $F$ 的逆函数

$$F^{-1}(u)=minc:F(c)\ge u$$

• 将 $F^{-1}$ 作为 $g$ 生成对应的分布

由 CDF 图像结合面积计算分布均值

左边阴影部分面积减右边

$$\begin{array}{rlr}& E[X]={\int }_0^{\mathrm{\infty }}(1-F_X(c))dc-{\int }_{-\mathrm{\infty }}^0{F}_X(c)dc& E[X]={\int }_0^1{F}_X^{-1}(u)du\end{array}$$

2. 多随机变量和的分布
整值随机变量的和 ->卷积

$$p_S(k)=P(X+Y=k)=\sum _j{P}_{X,Y}(j,k-j)$$

连续性联合随机变量的和
考虑先寻找 S=X+Y 的 CDF 再微分得到 PDF
CDF

$$F_S(c)=P(S\le c)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}({\int }_{-\mathrm{\infty }}^{c-u}{f}_{X,Y}(u,v)dv)du$$

PDF

$$f_S(c)=\frac{d{F}_S(c)}{dc}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{d}{dc}({\int }_{-\mathrm{\infty }}^{c-u}{f}_{X,Y}(u,v)dv)du={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_{X,Y}(u,c-u)du$$

Example4.6.5: ML Estimator，关注如何建模多维联合 pdf，同时进行获得 ML estimator

Example4: max 函数

$$\begin{array}{rlr}& F_W(t)=P(max(X,Y)\le t)=P(X\le t)P(Y\le t)=F_X(t)F_Y(t)& f_W(t)=f_X(t)F_Y(t)+f_Y(t)F_X(t)\end{array}$$

3. MMSE Estimation

$$MSE=E[(y-\delta {)}^2]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(y-\delta {)}^2{f}_{Y}dy$$

• 常数估计
  当 $\delta =E[Y]$ 时，我们有 MSE 最小值为 $Var(Y)$
  即估计的常数对应随机变量分布的均值，相应的 MSE 为其对应的方差
• 无约束估计

[!tip] 结论
对于非限制在给定观测结果 $X$ 的情况下估计随机变量 $Y$ 的分布，我们基于常数估计量以及 conditional pdf 推导出

• $E[Y

  X]=g^{}(X)$\mathrm{其}\mathrm{中}$g^{}(u)=E[Y

  X=u]$

• 对应的 MSE 最小值为 $E[(Y-E[Y

  X])^{2}]=E[Y^{2}]-E[(E[Y

  X])^{2}]$

先根据联合概率分布 $f_{X,Y}$ 计算 $f_X$ 与 $f_{Y|X}$
再对每一个给定的 $u$ ，确定 $g^{\ast }(u)$ , 即利用积分计算条件期望
然后计算每一个给定的 u 对应的 MSE 再乘上相对应的 $f_X(u)$ ，积分得到最终结果

• 线性估计
  根据逐步优化的结果，我们有给 $Y$ 的线性近似 $aX+b$
  当

$$a=\frac{\text{Cov}(Y,X)}{\text{Var}(X)}，b={\mu }_Y-a{\mu }_X$$

时，我们有 MSE 最小，此时

$$\begin{array}{rlr}& L(X)=\hat{E}[Y|X]={\mu }_Y+\frac{\text{Cov}(Y,X)}{\text{Var}(X)}(X-{\mu }_X)={\mu }_Y+{\sigma }_Y{\rho }_{X,Y}\left(\frac{X-{\mu }_X}{{\sigma }_X}\right)& MSE={\sigma }_Y^2-\frac{(\text{Cov}(X,Y){)}^2}{\text{Var}(X)}={\sigma }_Y^2(1-{\rho }_{X,Y}^2)=E[Y^2]-E[\hat{E}[Y|X{]}^2]\end{array}$$

4. 联合高斯随机分布
联合高斯分布随机变量 ->对于这些随机变量的线性组合满足高斯分布