1. 从“信号”到“统计”为什么我们需要这门课如果你正在学习通信、雷达、声呐、生物医学信号处理或者任何与从噪声中提取信息相关的领域那么“统计信号处理”这门课大概率是你绕不过去的一道坎。它不是教你如何写一个漂亮的滤波器而是告诉你为什么这个滤波器应该这么设计以及它的性能极限在哪里。我当年学的时候感觉它像是一本“武功心法”把之前学过的《信号与系统》、《概率论》这些招式真正内化成了一套可以应对不确定性的方法论。前三章通常被认为是这门课的基石。它不急于让你去解复杂的方程而是先帮你把“世界观”建立起来。这个“世界观”的核心就是从确定性信号处理转向随机信号处理。在确定性世界里一个正弦波就是A*sin(2πftφ)参数清清楚楚。但在现实世界你接收到的信号永远掺杂着噪声这个噪声的幅度、相位都是随机的。你无法预测下一次观测到的噪声具体值是多少但你可以用概率的语言去描述它“可能”的统计特性。前三章就是在教你如何用这套概率的语言去重新定义和描述我们熟悉的信号与系统。所以这份笔记的目的不是复述教材而是结合我后来在项目中实际应用这些理论的经验把那些抽象的概念比如估计器、检测器、似然函数和它们背后直观的物理意义串联起来。我会重点解释“为什么需要这个概念”以及“它解决了什么实际问题”并补充一些初学者容易卡壳的细节和思维误区。让我们从最根本的随机过程描述开始。2. 随机过程不仅仅是“一堆随机变量”很多教材一上来就扔出一堆定义随机过程是“一组依赖于参数t的随机变量”。这个定义没错但太冰冷了。我的理解是随机过程是你为了描述一个随时间或空间变化的、不可预测的信号所能建立的最完备的数学模型。2.1 从一次“观测”到无穷种“可能”想象你在一个固定位置记录环境噪声的电压值。在t1秒这一时刻你读到一个值比如0.5mV。但如果你把实验重复无数次在t1秒这个时间点上你可能会得到0.3mV,-0.1mV,0.7mV……一系列不同的值。所以t1秒对应的不是一个数而是一个随机变量它有自己的概率密度函数PDF。现在把时间轴连起来看。t1秒是一个随机变量t1.001秒是另一个随机变量t2秒又是另一个……这无穷多个随机变量的集合就是一个随机过程。一次实验记录比如从0秒记录到10秒得到的是这个随机过程的一个样本函数或实现。所有可能的样本函数的集合构成了这个随机过程。注意这是第一个关键点。我们永远只能得到随机过程的一个或几个样本函数现实中的数据但我们要用它们去推断整个随机过程的统计特性模型。这本身就是个估计问题。2.2 关键描述工具均值、自相关与功率谱密度既然单个随机变量我们用均值、方差来描述那么随机过程这种“一串”随机变量我们用什么描述它们之间的“关系”呢两个核心工具出场了均值函数和自相关函数。均值函数m_x(t)很简单就是随机过程在任意时刻t的期望值。m_x(t) E{x(t)}。对于平稳过程统计特性不随时间原点移动而变化均值函数是一个常数。自相关函数r_x(t1, t2)这是精髓所在。它衡量的是随机过程在两个不同时刻t1和t2的取值之间的关联程度。定义为r_x(t1, t2) E{x(t1) * x(t2)}。为什么自相关函数如此重要我举两个例子识别周期性如果一个随机过程里隐藏着一个周期信号比如被噪声淹没的正弦波那么它的自相关函数也会呈现出同频率的周期性而噪声部分的自相关函数在时延较大时会趋于零。这就为我们从噪声中检测周期成分提供了工具。表征“变化快慢”如果随机过程变化很剧烈比如高频噪声那么相隔很近的两个时刻它们的值就可能很不相关自相关函数会很快衰减到零。如果变化缓慢比如低频波动那么即使时间间隔稍大两个值仍然有较强的相关性自相关函数衰减得慢。自相关函数的宽度直观反映了随机过程主要分量的“平均周期”或“相关时间”。对于宽平稳过程WSS自相关函数只依赖于时间差τ t1 - t2即r_x(τ) E{x(t)x(t-τ)}。这时我们可以引入另一个极其强大的工具——功率谱密度PSD。2.3 功率谱密度频域中的“能量分布图”维纳-辛钦定理告诉我们对于一个WSS过程其自相关函数r_x(τ)和功率谱密度S_x(f)是一对傅里叶变换对。S_x(f) ∫ r_x(τ) e^{-j2πfτ} dτ。PSD的物理意义S_x(f)描述了随机过程的平均功率在不同频率分量上的分布密度。单位是W/Hz。这是随机过程在频域的核心特征。实操心得在工程上我们经常通过估计数据的PSD来分析信号特性。比如在通信系统中看信道噪声的PSD是白噪声平坦还是有色噪声在某些频率突出在振动分析中通过PSD找到机械结构的共振频率。记住一个关键点随机过程的PSD是其本质属性而我们用周期图法等手段从一段有限数据中计算出来的只是PSD的一个估计这个估计本身也是随机的存在方差和偏差问题。这直接引出了第三章的谱估计话题。3. 估计理论入门如何从数据中“猜”出真相统计信号处理的核心任务之一就是“估计”。我们有一组观测数据x [x[0], x[1], ..., x[N-1]]^T我们相信这些数据背后有一个模型模型里包含我们想知道但未知的参数θ比如正弦波的幅度、频率、相位或者噪声的方差。估计就是设计一个函数估计器θ̂ g(x)用数据x去猜出θ的值。3.1 评价估计器的“尺子”无偏性与有效性一个好的估计器长什么样我们有两把最重要的“尺子”来衡量它。无偏性如果这个估计器平均来说能猜对我们就说它是无偏的。数学上E{θ̂} θ。这意味着如果你用同样的估计方法对不同批次独立采集的数据进行无数次估计然后把这些估计值平均起来它会无限接近真实参数值。为什么重要无偏性保证了估计没有系统性的误差。这是估计器的基本要求。但请注意无偏不代表每次估计都准确它只保证“平均正确”。有效性最小方差在众多无偏估计器中我们当然希望那个“猜得最准”的也就是估计值θ̂的波动方差Var(θ̂)最小的那个。这个方差存在一个理论下限就是著名的克拉美-罗下界CRLB。克拉美-罗下界CRLB是估计理论里的一座里程碑。它告诉我们对于任何无偏估计器其估计方差至少有多大。公式是Var(θ̂) ≥ 1 / I(θ)其中I(θ)是费雪信息量。费雪信息量I(θ)的直观理解它衡量的是观测数据x中所包含的关于参数θ的“信息”的多少。如果概率密度函数p(x; θ)的形状随θ变化很剧烈那么稍微改变θ数据的分布就大不相同我们就能很容易地从数据中区分出不同的θ这时I(θ)就大CRLB就小意味着参数可以被估计得很精确。反之如果p(x; θ)对θ变化不敏感I(θ)就小CRLB就大意味着这个参数很难被准确估计。踩坑提醒CRLB是一个下界它告诉你性能的极限但并没有告诉你如何达到这个极限。存在能达到CRLB的估计器称为有效估计器但很多情况下我们找不到或者很难实现。常见的最大似然估计MLE在大样本下通常能达到CRLB。3.2 最大似然估计最自然的“猜法”最大似然估计MLE的理念非常直观既然我们观测到了这组数据x那么最合理的参数θ应该是使得这组数据出现的概率或可能性最大的那个θ。数学上我们定义似然函数L(θ; x) p(x; θ)然后求解θ̂_MLE argmax_θ L(θ; x)。通常取对数似然函数ln L(θ; x)来简化乘积运算。MLE的实操步骤与理解写出模型首先你必须知道或假设观测数据x在给定参数θ下的概率分布p(x; θ)。这是所有统计推断的基础。构建似然函数将你的N个观测数据样本代入p(x; θ)。如果样本是独立同分布i.i.d.的那么联合PDF就是每个样本PDF的乘积L(θ; x) ∏_{n0}^{N-1} p(x[n]; θ)。取对数、求导、解方程对ln L(θ; x)关于θ求导令导数为零解出θ。这个解就是MLE。验证最大值通常检查二阶导数为负。举例估计高斯噪声中的直流电平DC Level假设我们观测到数据x[n] A w[n],n0,1,...,N-1。其中A是未知的直流电平w[n]是均值为0、方差为σ^2的高斯白噪声。模型每个x[n] ~ N(A, σ^2)且相互独立。似然函数L(A; x) ∏ (1/√(2πσ^2)) exp( - (x[n]-A)^2/(2σ^2) )。对数似然函数ln L(A; x) - (N/2)ln(2πσ^2) - (1/(2σ^2)) ∑ (x[n]-A)^2。求导d/dA [ln L] (1/σ^2) ∑ (x[n]-A) 0。解∑ (x[n]-A) 0N*A ∑ x[n]Â_MLE (1/N) ∑ x[n]。看MLE给出的结果就是样本均值这完全符合我们的直觉。而且可以证明在这个问题中样本均值估计器是无偏的并且它的方差正好等于CRLB因此它是一个有效估计器。个人体会MLE是工程中最常用、最强大的估计方法之一。它的优势在于只要你能写出正确的概率模型原则上就能通过数值优化方法当解析解难以求出时得到估计值。它的一个关键性质是不变性如果θ̂是θ的MLE那么对于任意函数gg(θ̂)就是g(θ)的MLE。这个性质非常方便。4. 检测理论雏形是信号还是噪声如果说估计是“猜参数是多少”那么检测就是“猜到底是哪一种情况”。这是一个二元或多远决策问题。在信号处理中最经典的场景就是我们接收到的数据到底是“纯噪声”假设H0还是“信号噪声”假设H14.1 假设检验的基本框架两个假设H0: 零假设通常表示“没有信号”或“背景情况”。H1: 备择假设表示“有信号”或“目标存在”。观测空间与判决域我们的观测数据x落在多维空间里。我们需要把这个空间划分成两个区域R0和R1。如果x落在R0我们就判H0如果落在R1就判H1。代价与风险判决可能出错。有两种错误第一类错误虚警H0为真却判了H1。概率记为P_FA。第二类错误漏警H1为真却判了H0。概率记为P_M。检测概率P_D 1 - P_M。 不同的错误往往带来不同的代价。贝叶斯检测准则就是最小化平均代价而奈曼-皮尔逊NP准则则是在固定虚警概率P_FA不超过某个值的约束下最大化检测概率P_D。雷达系统中普遍采用NP准则。4.2 似然比检验NP准则的最优解NP准则的最优解形式非常优美叫做似然比检验LRT。它构造一个似然比函数L(x) p(x; H1) / p(x; H0)然后将其与一个门限γ比较L(x) γ判H1否则判H0。这里的门限γ不是随意设定的而是由我们允许的虚警概率P_FA决定的。P_FA ∫_{x: L(x)γ} p(x; H0) dx。给定一个P_FA比如10^-6我们就能解出对应的门限γ。一个简单而深刻的例子高斯噪声中已知幅度信号的检测假设H0: x[n] w[n]H1: x[n] A w[n],n0,1,...,N-1其中A 0是已知的确定信号w[n]是 i.i.d. 的N(0, σ^2)噪声。推导LRTp(x; H0) ∏ N(x[n]; 0, σ^2)p(x; H1) ∏ N(x[n]; A, σ^2)计算似然比L(x)取对数因为单调性不变得到对数似然比ln L(x) (A/σ^2) ∑ x[n] - (N A^2)/(2σ^2)由于A/σ^2 0比较ln L(x)和ln γ等价于比较∑ x[n]和另一个门限γ。定义检验统计量T(x) (1/N) ∑ x[n]样本均值。最终的检验规则是如果样本均值T(x) γ判H1否则判H0。这个结果太直观了如果信号是正的直流电平那么当观测数据的平均值超过某个门限时我们就认为更可能是信号存在。这个T(x)被称为充分统计量——它包含了观测数据中所有用于区分H0和H1的信息。4.3 接收机工作特性曲线性能的“全景图”对于一个给定的检测器和信号噪声模型我们可以计算出在不同门限γ下的P_FA和P_D。以P_FA为横坐标P_D为纵坐标画出的曲线就是接收机工作特性曲线。ROC曲线的意义性能比较对于同一个检测问题不同的检测器比如能量检测器 vs 匹配滤波器会有不同的ROC曲线。曲线整体越靠近左上角P_FA小P_D大性能越好。设计权衡ROC曲线清晰地展示了虚警概率和检测概率之间的折衷。你想降低虚警比如减少误报警就必须承受更低的检测概率可能漏掉真实目标。系统设计者需要根据实际应用的需求比如雷达对虚警的容忍度极低在曲线上选择合适的操作点。评估估计器的影响在实际中信号参数如幅度A可能未知需要先估计。这时用估计值代替真实值进行检测称为“估计-检测”或“广义似然比检验”其ROC曲线会比参数已知时的理想曲线要差。ROC曲线可以量化这种性能损失。实操中的坑理论ROC曲线通常假设噪声分布完全已知比如精确的高斯分布。但实际环境中噪声可能是非高斯的、非平稳的或者其参数如方差是未知且变化的。这会导致实际性能严重偏离理论曲线。因此在实际系统设计如雷达恒虚警处理中必须考虑对噪声功率进行实时估计并动态调整检测门限以维持恒定的虚警概率。5. 前三章的内在联系与工程思维学完前三章你可能会觉得内容很多随机过程、估计理论、检测理论。但它们不是孤立的而是一个层层递进、为解决实际问题而构建的工具箱。随机过程第1、2章是“语言”和“对象”。它提供了描述我们所要处理的信号目标信号和噪声的数学框架。没有这个框架后续的估计和检测就无从谈起。你首先要能说清楚你的数据是什么“东西”。估计理论第3章是“探针”。当信号模型中的参数如幅度、到达时间、频率未知时我们需要用估计器从数据中把它们“测”出来。MLE是其中最强大、最通用的“探针”之一。估计的精度受限于CRLB。检测理论第3章是“决策者”。在参数已知或经过估计之后我们需要最终做出一个二元判决有目标还是没目标LRT在NP准则下给出了最优的决策规则。而ROC曲线则描绘了这种决策规则的性能边界。一个完整的信号处理链路往往是这样的用随机过程建模信号与噪声 - 用估计器提取信号参数 - 将估计出的参数或直接用原始数据送入检测器做出最终判决。例如在雷达系统中回波是随机过程含目标散射信号和多普勒频移- 通过脉冲压缩匹配滤波和CFAR处理估计目标距离和速度并估计背景噪声功率 - 将处理后的数据与自适应门限比较完成目标检测。学习建议不要死记公式。多问自己这个定义/定理解决了什么问题如果没有它会有什么困难尝试用Python或MATLAB模拟一些简单的例子比如生成一个带噪声的正弦波然后自己写代码去估计它的幅度、频率再做一个简单的门限检测并统计虚警和检测概率。动手做一遍你对似然函数、CRLB、ROC曲线的理解会深刻十倍。前三章打下的基础将直接决定你后续学习谱估计、滤波、自适应信号处理等高级话题的深度和顺畅程度。
