随机过程
概率与随机过程基础
- 期望m(t)
D(X) = E(X^2)-(E(X))^2- 随机变量的协方差
Cov(XY) = E((X-E(X)(Y-E(Y)))- 随机过程的自协方差
Cx(t1,t2)=E(X(t1)-m(t1))E(X(t2)-m(t2)))=Rx(t1,t1)-m(t1)m(t2)- 互协方差
Cxy(t1,t2)=E(X(t1)-m(t1)(Y(t2)-m(t2))) - 随机过程的二阶混合中心距
- 互协方差
- 相关系数
r = Cov(X,Y)/sqrt(D(X)D(Y))
- 随机过程的自协方差
- 均方值 - 二阶原点距
- 互相关
Rxy(t1)=E(X(t1)Y(t2))- 自相关
Rx(t1,t2)=E(X(t1)X(t2))
- 自相关
- 随机变量之间的关系
- 不相关 Cov(X,Y)=0 ； E(XY)=E(X)E(Y) (Rxy = mx*my)
- 物理意义上表示没有线性关系
- 正交 E(XY) = 0 / Rxy=0
- 独立 f(x,y)=f(x)f(y)
- 独立一定不相关，但是不相关不一定独立(只有0均值高斯的时候独立才和不相关等价)
- 正交与两者关系不大(只有当高斯过程的时候正交与独立等价；当0均值的时候正交和不相关等价)
- 不相关 Cov(X,Y)=0 ； E(XY)=E(X)E(Y) (Rxy = mx*my)
- 边沿分布：针对某一维度积分，得到另一维度的边沿分布
- 平稳 EX,DX与t无关；RC仅与时间差\(\tau\)
- 严格平稳:对任意时刻，相同时间差的N维分布相同
- 广义平稳(弱)：自相关只与时间差有关，一阶距(期望)为常数(与时间无关)
- 此时R，C都退化为R(t),C(t)
C(t)=R(t)-m^2- R(0) 等于二阶原点距 – 均方值
- C(0) 等于二阶中心距 – 方差
- R(t)为偶函数，在0处有最大值，lim无穷R=m^2(C则为0)
- R(t)在0处连续则在R上连续
- 相关系数 r = C(t)/C(0) = R(t)-m^2/方差
- 相关时间：表示一定时间之后，X(t)与X(t+t1)不相关
- 此时R，C都退化为R(t),C(t)
- 各态历经(遍历) 每个Sample都经历了所有的可能状态，所以可以从某个样本中获得所有的统计信息
- 时间平均 = 集平均
- 分为均值各态历经以及自相关函数各态历经
-
对能量信号，由Parseval能谱密度=时域信号能量 $$\int_{-\infty}^{infty}x^2(t)dt = \frac{1}{2\pi}\int_{-\infty}^{\infty} F(w) ^2dw$$ -
对功率信号，类似的有功率谱密度函数$$\frac{1}{2T}\int_{-T}^{T} F(w,T) ^2dw$$
-
- 维纳辛钦 自相关函数的傅里叶变换是功率谱密度
- 互相关函数对应的就是互谱密度s
- 白噪声过程 自相关是冲激；频谱是常数
- 物理含义： 任意不同时刻都是不相关的
- 独立增量过程 不同时间点之间相互统计独立
- （连续时间的独立增量过程是马尔科夫过程）
- 齐次的独立增量过程是维纳过程
- 正交增量过程(非平稳)
随机过程的线性变换
- 均方收敛(l.i.m=)>(强于)>依概率收敛
- 均方连续 \(lim_{\delta t\to 0}E\|x(t+\delta t)-x(t)\|^2=0\)
- 极限与均值运算可以交换次序
- 均方可导 (等价)»> Rx(t1,t2)存在二阶混合偏导
- 随机过程的导数与原随机过程不相关而且正交
- 均值与微分运算交换次序
- 均方积分 »> Rx(t1,t2)可积
- 相关函数积分之后可能不再平稳
- 均值与积分运算交换次序
- 联合平稳的过程 (研究线性系统输入输出的互相关)
- 白噪声经过各种系统
- 等效通频带，与相关时间成反比
窄带随机过程
- Hilbert变换(移相器)所得到的信号与原信号正交
- 实数信号的复表示
- 信号的自相关与其希尔伯特变换之后的自相关相等 \(R_x(t)= R_{\hat{x}}(t)\)
- 随机信号复表示的自相关\(R_{\tilde{x}}(\tau)=2[R_x(\tau)+jR_{\hat{x}}(\tau)]\)
太多性质了打不动公式了看图
- 窄带随机过程 - 窄带描述的是信号在时间上的变化特征
- 可以分解为
- 同相分量 cos
- 正交分量 sin
- 平稳的窄带随机过程在每个时刻同相与正交分量不相关
- 可以分解为
- 带通信号的功率是其复包络功率的一半
几种特殊随机过程
- 高斯随机过程
- 对任意N个时刻进行抽样都构成正态分布
- 此时-广义平稳和严格平稳等价
- 如果有零均值(单独零均值的话正交就和不相关等价了)的话，正交与不相关等价(此时其实三者都等价)
- 任意有限维的分布都是联合高斯的
- 线性组合，边缘分布，条件分布都是高斯的
- 与Gauss Related的其他几个分布
- 窄带平稳高斯分布的复包络 ———— 瑞利分布
- 可以分解为两个独立，具有相同方差的高斯分布(两个正交的高斯信号之是瑞利)
- 在通信原理中用来描述平坦衰落信号/独立多径接受包络
- 窄带高斯噪声的分布
- 莱斯分布可以看做是原本信号是瑞利分布的多径叠加
- 定义里面有一个Bessel函数
- 正弦波加一个窄带高斯的包络概率分布函数，服从莱斯分布
- 当信号很小可以忽略，就变成复高斯(噪声),莱斯分布就退化为瑞利分布
- N个独立的高斯分布的求和 ———— 卡方分布
- 窄带平稳高斯分布的复包络 ———— 瑞利分布
- Poisson过程
- 描述单位时间内到达个数(均值的意义)
P{X(t+t0)-X(t)=k} - 到达时间
1-P{N(t)<=k-1}服从Gamma分布 - 到达时间间隔 服从复指数分布
- 描述单位时间内到达个数(均值的意义)
- Markov过程
- 例子 伯努利实验，家族消失，无限制的随机游走，赌徒
- 平稳 无穷时刻各状态的分布稳定
- 遍历 无论从哪个状态开始，只要时间足够长，能够到达每一个状态
- 齐次(时齐) 转移概率与起始时刻无关
- C-K方程，从一个状态到达另外
- 一个状态的转移概率，等于先到一个中间态的概率相乘
- Wiener过程
- 随机游走
- 醉汉
概率统计
- 伯努利(二项)分布 - N次独立伯努利实验，事件发生的次数
- 几何分布：无穷次伯努利实验序列中，时间A发生所需要的次数(First Success)
- 超几何分布: 从N个物件中抽取
- 大数定律；随机事件发生的频率依概率收敛于事件A发生的概率
- 可以用事件的概率来作为事件发生频率的估计值
- 中心极限定理
- 当N个随机变量独立同分布，其总体呈正态分布
- 切比雪夫不等式
- 随机变量值偏离期望的概率小于方差
- 贝叶斯公式
- 本质上就是条件概率公式
- 描述了先验和后验概率的关系
- 思想 如果我们完全知道了一个事件的所有信息，可以知道准确概率；但是我们经常信息不完全，只能先做出一些推测(先验概率)然后去修改条件概率，最后得到后验概率
