058、时域降噪（Temporal Denoise）：运动补偿与递归滤波在视频降噪中的应用

058、时域降噪Temporal Denoise运动补偿与递归滤波在视频降噪中的应用去年冬天接手一个车载环视项目客户反馈夜间倒车影像“雪花飞舞”尤其是地面纹理像被撒了盐。我第一反应是调高空域降噪强度结果画面是干净了但倒车时后保险杠边缘拖影严重像糊了一层浆糊。后来发现问题的根源不在空域而在时域——帧与帧之间的噪声是随机的但场景是连续的如果能利用多帧信息去噪就能在保留细节的同时压制噪声。这就是时域降噪Temporal Denoise的核心逻辑。时域降噪的直觉为什么单帧搞不定空域降噪本质是“猜”——用周围像素推测当前像素代价是模糊边缘。时域降噪则是“看”——看前一帧同一位置像素是否稳定。如果场景静止多帧平均就能把随机噪声抹平信噪比提升与帧数平方根成正比。但现实世界没有绝对静止哪怕手机放在三脚架上树叶也会晃动。这就引出了时域降噪的两个核心矛盾运动区域如何避免鬼影静止区域如何最大化降噪收益。递归滤波最简单的时域降噪但坑最多最朴素的时域降噪是递归滤波Recursive Filter公式就一行output[n] alpha * input[n] (1 - alpha) * output[n-1]alpha是更新率越小降噪越强但拖影越重。我在一个安防项目中用过这个alpha设0.1静止场景效果惊艳但有人走过时身后拖出一条“彗尾”。后来加了运动检测根据像素差异动态调整alpha——差异大时alpha接近1几乎不降噪差异小时alpha接近0强降噪。但这里踩过坑运动检测阈值不能全局统一。暗光下噪声本身就大像素差异可能被噪声淹没导致运动区域被误判为静止鬼影反而更严重。我的做法是根据当前帧的全局噪声水平动态调整阈值噪声大时阈值放宽宁可保留一点噪声也不引入鬼影。运动补偿让递归滤波学会“跟踪”递归滤波的致命缺陷是假设像素在帧间位置不变。一旦物体移动直接做帧间平均就会把不同物体的像素混在一起。运动补偿Motion Compensation的思路是先算出当前帧每个像素的运动矢量Motion Vector然后根据运动矢量去前一帧的对应位置取像素再做递归滤波。运动估计是这里最烧算力的部分。手机ISP里通常用块匹配Block Matching把图像分成8x8或16x16的块在搜索窗口内找最相似的块。别这样写直接暴力全搜索16x16块、±32像素搜索范围一帧算下来几毫秒就没了手机功耗扛不住。工业界常用三步搜索Three-Step Search或菱形搜索Diamond Search精度够用算力减半。我调过的一个车载方案用了光流法Optical Flow精度高但硬件实现复杂最后妥协成稀疏光流插值只在特征点处算运动矢量其余像素用双线性插值。运动补偿后的递归滤波公式变成output[n] alpha * input[n] (1 - alpha) * MC_output[n-1]其中MC_output[n-1]是前一帧经过运动补偿后的像素。这里有个细节运动补偿本身会引入误差尤其是遮挡区域物体移开后露出的背景和运动边界。我的经验是在运动补偿置信度低的区域比如块匹配的SAD值过高强制把alpha设为1完全信任当前帧避免错误补偿带来的伪影。多帧降噪从递归到非递归递归滤波只用了前一帧信息量有限。高端方案用多帧降噪Multi-Frame Denoise缓存最近N帧通常3-5帧对每帧做运动补偿后加权平均。权重根据帧的时间距离和运动置信度动态分配。这有点像HDR的多帧合成但目标不同——HDR要扩展动态范围多帧降噪要压制噪声。多帧降噪的算力开销是递归滤波的N倍但效果也是质的飞跃。我在一个旗舰手机项目里试过5帧降噪暗光下信噪比提升超过6dB细节保留比单帧空域降噪好一个档次。代价是内存带宽爆炸——5帧1080p图像需要几十MB的buffer对DDR带宽是巨大考验。工业界常用“滑动窗口”策略只缓存运动矢量和残差不缓存完整图像但实现复杂度飙升。实战中的调优陷阱噪声模型匹配时域降噪假设噪声是零均值高斯分布但实际sensor噪声是泊松-高斯混合模型光子散粒噪声读出噪声。如果噪声模型不匹配递归滤波会残留“条纹状”噪声尤其在暗部。我的做法是先做一次空域预降噪把噪声分布拉近高斯再做时域降噪。运动矢量一致性运动补偿最怕“闪烁”——同一物体在不同帧算出的运动矢量不一致导致降噪强度忽强忽弱。解决方案是加时间平滑当前帧的运动矢量与前一帧的运动矢量做加权平均避免突变。场景切换检测视频剪辑或快速摇镜头时帧间相关性几乎为零此时强行做时域降噪只会引入鬼影。必须加场景切换检测Scene Change Detection检测到切换时清空历史帧buffer重新开始累积。低照度下的运动模糊暗光下曝光时间长运动物体本身就有模糊运动补偿很难准确。我的经验是低照度下降低运动补偿的置信度更多依赖空域降噪时域降噪只做轻度递归。个人经验性建议时域降噪不是万能药它和空域降噪是“跷跷板”关系——时域强则空域弱反之亦然。我调试时有个原则先保证运动区域无鬼影再追求静止区域的信噪比。因为鬼影是“一眼假”的缺陷而噪声至少看起来是“自然的”。另外别迷信算法复杂度。很多场景下一个精心调参的递归滤波简单运动检测效果不输复杂的多帧光流方案。关键是把运动检测的阈值、alpha的映射曲线、场景切换的灵敏度调对。这些参数往往需要针对具体sensor的噪声特性、镜头的光学传递函数、甚至模组的散热情况温度影响暗电流噪声做定制。最后时域降噪的调试工具很重要。我习惯在ISP的debug模式下输出“降噪强度热力图”——用伪彩色显示每个像素的alpha值一眼就能看出哪些区域降噪过度alpha过低或不足alpha过高。这个工具帮我发现了不少问题比如运动检测在纹理丰富区域误判率高的现象后来通过调整块匹配的SAD权重解决了。时域降噪的本质是用时间换空间用算力换画质。但记住时间是有成本的——帧率、延迟、功耗每一项都是约束。好的时域降噪不是把噪声降到零而是在用户感知不到噪声的前提下把算力留给更重要的地方比如HDR合成或AI场景识别。