Continuous-type random variables

#ECE313

Cumulative distribution functions

Basic

• Definition
  To be on mathematically firm ground, random variables are also required to have the property that sets of the form $\omega :X(\omega )\le c$ should be events-meaning that they should be in F: Since a probability measure P assigns a probability to every event, every random variable X has a cumulative distribution function (CDF), denoted by
  $F_X$

$$F_X(c)=P\omega :X(\omega )\le c=PX\le c$$

CDF 用来表示随机变量分布在一定区间内的累积概率

极限与差分记号：

$$\mathrm{\Delta }{F}_X(x)=F_X(x)-F_X(x-)$$

接下来我们给出如何确定 $PX<c$ 与 $PX\in (a,b]$ 与 $PX=c$

我们容易观察到: 当 $F_X$ 在 c 取值连续时，我们均有 $F_X(c)=0$

• Property
  函数 F 能作为随机变量的累计分布函数的条件
  

Continuous & Discrete Random Variables

• 离散型
  随机变量的取值集合为有限集或可数无限集

$$\begin{array}{rlr}& \text{pmf: }{p}_X(u)=PX=u& \text{CDF: }{F}_X(c)=\sum _{u:u\le c}{p}_X(u)\end{array}$$

• 连续性：定义为概率密度函数的积分
  

Continuous-type Random Variables

• Definition
  
  注意：
  当随机变量连续且其概率密度函数也连续时，我们有 CDF 可微
  直接对 CDF 求导得到 PDF

• Property
  对于连续的 pdf，我们并不关注孤立点的取值（因为取值永远为 0）
  

• 均值与方差
  

Distribution

Uniform Distribution(均匀分布)

• Definition
  

• 均值与方差
  
  

Exponential Distribution

Definition

• 均值与方差
  

• Property
  
  与几何分布的联系
  Exponential Distribution 为几何分布在连续时取极限的情况
  其中 $\lambda$ 可以理解为失败概率

Poisson Processes

Intro

Exponential random variables are limits of scaled geometric random variables->Poisson Processes are limits of scaled Bernoulli processes
指数分布本质上为几何分布的极限

• $U_j$ 前 $j-1$ 次 count 与 $j$ 次 count 之间的时间间隔，服从 exponential distribution,参数为 $\lambda =\frac{p}{h}$
• $N_t$ 时间为 t 时出现的 count 次数，服从于二项分布，近似为泊松分布，均值为 $\lambda t$

Definition and Properties

核心即为将一个离散的不断进行伯努利实验的过程用时间变量描述为连续的过程

• $N_t$ 给定 t,关注在之前的时间内出现了几次 count,利用判别 $I$ 来表示
• $T_n$ 记录出现 n 次 count 时所用的最小时间
• $U_n$ 第 n-1 次 count 与第 n 次 count 之间的时间间隔

在很多情况下将时间划为不交的并集可以充分利用其相互独立性

Example:

Erlang Distribution(埃尔朗分布)

rth count 所经过的时间服从 Erlang Distribution，理解为 r 个独立随机过程的加和

$$\begin{array}{r}E(T_r)=\frac{r}{\lambda }Var(T_r)=\frac{r}{{\lambda }^2}\end{array}$$

Linear Scaling of PDFs and the Gaussian Distribution

Scaling Rule for pdfs

通过分析拉伸平移前后对应变量分布的概率来推导

平移不改变总体形态，如果涉及伸缩注意纵轴上相应的变化

Gaussian Distribution 正态分布

Definition

注意不同 $\sigma$ 对应的分布概率
68.3 -> 95.5 -> 99.7
Standard Normal Distribution

注意常用的函数:
同时还关注到正态分布的 pdf 为偶函数

• $\mathrm{\Phi }(u)$ 表示对于标准正态分布从负无穷积到 u 的概率
• $Q(u)$ 表示对于标准正态分布从 u 积到正无穷的概率

$$Q(u)=1-\mathrm{\Phi }(u)=\mathrm{\Phi }(-u)$$

Linear Scaling
只需要考察标准正态分布的情况，其余的情况都可以通过 Linear Scaling 实现，关注 scaling law 即可

$$\begin{array}{rlrl}& X\sim N(0,1)& Y=\sigma X+\mu & Y\sim N(\mu ,\sigma )\end{array}$$

证明正态分布积分为 1（利用极坐标）

进一步利用分部积分证明方差为 1

当计算非标准正态分布的概率时，常常通过 Linear Scaling 返回到标准正态函数利用 $\mathrm{\Phi }$ 或者 $Q$ 计算

$$\begin{array}{rlr}& P(Y\le u)=P(\frac{Y-\mu }{\sigma }\le \frac{u-\mu }{\sigma })=\mathrm{\Phi }\left(\frac{u-\mu }{\sigma }\right)& P(Y>u)=1-\mathrm{\Phi }\left(\frac{u-\mu }{\sigma }\right)\end{array}$$

Example:

Central Limit Theorem and the Gaussian Approximation

CLT：中心极限定理的核心思想：
当多个独立随机变量相加，且单个随机变量值相比总和的量级较小，那么他们的和可以近似为正态分布

Central Limit Law

应用 1：利用 CLT 近似二项分布（因为其可以表示为多个伯努利分布的和）
根据二项分布的参数 $n,p$ 计算出分布的均值与方差作为近似正态分布的均值与方差在 $np$ 与 $n(1-p)$ 相对较大时近似较精确

当我们利用正态分布估计离散变量的概率分布时，需要进行 continuity correction
我们发现，利用两个连续整数的中间值进行估计较为精确（当 X 为取值整数的随机变量时）

利用考虑下式进行记忆

$$P(X=k)\approx {\int }_{k-0.5}^{k+0.5}{f}_X(u)du$$

Theorem: DeMoivre-Laplace Limit Theorem（利用正态分布对二项分布的极限近似）

ML Parameter Estimation for Continuous-Type Variables

对于现实情境进行概率建模时，我们常常需要考虑选取合适的参数作为选取随机变量分布的参数，对于连续型随机变量而言，我们依然考虑选取能使对应采样结果最大所对应的参数，其中对应采样结果的参数概率通过在临近区间内积分确定

$$\text{Missing or unrecognized delimiter for left}$$

参数 $\theta$ 基于观测结果 $u$ 的最大似然估计记为 $\widehat{{\theta }_{ML}(u)}$, 该参数能最大化 $f_{\theta }(u)$

Functions of a random variable

The distribution of a function of a random variable

问题情境：已知一个随机变量 X 的概率分布，希望知道经过函数映射 $Y=F(X)$ 的概率分布

一般思路

• 确定 X 与 Y 的支持集,可以先画 Y 关于 X 的函数图像，精准确定 Y 的定义域及其与对应 X 的值的对应关系，确定 Y 为离散型随机变量还是连续性随机变量
• 可以通过画图确定，当 Y 对应小于某个值时对应 x 的精确取值范围区间，防止出错
  1. 对于连续性随机变量：
     首先寻找 Y 的 CDF:(注意关注需要考虑 c 可取哪些值)

$$F_Y(c)=PY\le c=Pg(X)\le c$$

然后对 Y 的 CDF 进行微分即可得到对应的 pdf

1. 对于离散型随机变量：
   直接计算：

$$p_Y(v)=PY=v=Pg(X)=v={\int }_{u:g(u)=v}{f}_X(u)du$$

求解对应的方差与均值
可以考虑直接用 LOTUS

重要等式:(考虑分部积分和递推)

$${\int }_0^{\mathrm{\infty }}{u}^n{e}^{-u}du=n!$$

Example

当映射的函数为单调递增函数时，我们可以直接利用逆函数找到良好的对应关系
核心：

$$F_Y(c)=F_X(g^{-1}(c))$$

将随机变量的 CDF 添加到本身 ->实现一个均匀分布

Generating a random variable with a specified distribution

问题情境
记 $F$ 为满足条件的 CDF 函数， $U$ 为在区间 $[0,1]$ 上均匀分布的随机变量，目的是找到一个函数 $g$ 使得 $F$ 为 $g(U)$ 的 CDF

解决

• 确定 $F$ 的逆函数

$$F^{-1}(u)=minc:F(c)\ge u$$

• 将 $F^{-1}$ 作为 $g$ 生成对应的分布

The area rule for expectation based on the CDF

由 CDF 图像结合面积简单地计算分布的均值: 即为上图右侧的阴影面积减左侧的阴影面积

$$E[X]={\int }_0^{\mathrm{\infty }}(1-F_X(c))dc-{\int }_{-\mathrm{\infty }}^0{F}_X(c)dc$$

考虑从 u 轴上积分，我们有:

$$E[X]={\int }_0^1{F}_X^{-1}(u)du$$

证明：

Binary Hypothesis testing with continuous-type observation

问题背景:

• 考察连续性随机变量的分布
• 两种假设 $H_1,H_2$ 假设正确时对应不同的 pdf $p_1,p_2$
• 基于实际观测情况确定假设

Term:

• Likelihood Ratio:

$$\mathrm{\Lambda }(u)=\frac{f_1(u)}{f_2(u)}$$

• Likelihood Ratio Test:

$$\begin{array}{rlr}& \mathrm{\Lambda }>\tau ,\text{declare H1 is true}& \mathrm{\Lambda }<\tau ,\text{delcare H0 is true}\end{array}$$

ML Likelihood: 对应的 $\tau =1$
MAP Likelihood: 对应的 $\tau =\frac{{\pi }_0}{{\pi }_1}$

• P
  求概率时即在对应的 X 的区间范围内考虑 pdf 的积分或者计算面积