前言本文介绍了面向红外小目标检测的时空特征融合模块——STFFM用于增强复杂背景下目标与噪声、杂波的区分能力。该方法通过拼接空间特征与时间/运动特征并结合通道注意力、空间注意力和残差增强机制实现对关键语义通道与疑似目标区域的自适应重标定。我们将 STFFM 集成进 YOLO11 的 Neck 特征融合位置替代原有简单 Concat 操作使跨层特征融合从直接拼接升级为注意力引导的时空/多尺度特征交互从而提升小目标、弱纹理目标及复杂场景下的检测鲁棒性。文章目录 YOLO11改进大全卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总专栏链接: YOLO11改进专栏介绍复杂地面场景下的红外小目标检测仍面临巨大挑战。当目标淹没于背景中时多帧方法能够利用时域运动信息缓解该难题。然而现有多帧方法在时域运动信息提取与时空信息融合两方面均存在缺陷限制了其检测性能。本文提出一种全局时空红外小目标检测框架。该检测框架包含两大模块用于计算小目标相对运动图RMM的相对运动模式提取RMPE模块以及同时接收图像与相对运动图作为输入的全局时空特征融合网络GST-Net。相对运动模式提取模块在各个时间步计算稠密光流图OFMs并做归一化处理通过累加操作完成小目标相对运动模式的提取。全局时空特征融合网络包含两个核心子模块时空特征融合模块STFFM实现特征编码中间阶段的特征交互全局时空依赖提取模块GSTDEM在深层时空语义特征图中挖掘目标与背景间的长距离依赖关系提升模型区分目标、噪声与背景的能力。多帧数据集上的实验结果表明本文方法能够在复杂背景下有效检测小目标性能优于其他当前最优SOTA算法。相关代码开源地址https://github.com/elvintanhust/GST-Det文章链接论文地址论文地址代码地址代码地址基本原理解决的关键问题STFFM即 Spatial-Temporal Feature Fusion Module主要解决空间特征与时间/运动特征融合不足的问题。原论文面向红外小目标检测目标通常尺寸极小、对比度低容易被地物纹理、噪声和复杂背景淹没。单纯依赖空间特征时模型难以在强杂波背景中稳定区分目标单纯依赖时间或运动信息时又可能因为目标运动不明显、运动噪声强或背景扰动复杂而产生漏检和误检。因此STFFM的核心价值在于让两类特征在浅层或中间层阶段就发生交互使空间分支提供位置、纹理和边缘信息时间分支提供运动差异和动态线索通过互补与过滤减少单一模态信息不足带来的检测不稳定。整体架构STFFM通常嵌入双分支特征编码网络中作为空间分支和时间分支之间的桥梁。两个分支分别提取图像空间特征与运动/时序特征在中间层将两路特征送入STFFM。模块先对两路特征进行通道对齐然后沿通道维度拼接形成联合的时空特征表达。随后通过通道注意力和空间注意力对融合特征进行增强使模型自动判断哪些通道更重要、哪些空间区域更值得关注。经过多次残差式注意力增强后再使用1×1卷积将通道数压回目标输出通道最后用ReLU激活输出融合特征。在YOLO中我将它设计为可直接替代neck中Concat的位置输入两路特征输出单路融合特征。技术原理STFFM的关键技术思想是“拼接融合 注意力筛选 残差增强 通道压缩”。拼接操作保留两路特征的完整信息通道注意力通过全局平均池化和最大池化提取通道重要性增强有利于目标识别的语义响应空间注意力通过平均图和最大图生成空间权重突出疑似目标区域并抑制背景干扰。残差结构避免注意力筛选过强导致信息损失使原始特征和增强特征共同参与表达。最后1×1卷积完成通道调整使输出形状能与YOLO后续C3k2等模块自然衔接。用于YOLO11/YOLO26时STFFM不再只是简单把特征拼起来而是先完成一次自适应的时空/跨层特征重标定有助于提升小目标、弱纹理目标和复杂背景场景下的检测鲁棒性。核心代码classfea_add_module(nn.Module):def__init__(self,channels):super(fea_add_module,self).__init__()self.ca1ChannelAttention(channels*2)self.ca2ChannelAttention(channels)self.saSpatialAttention()self.relunn.ReLU(inplaceTrue)self.shortcut1nn.Sequential(nn.Conv2d(channels*2,channels*2,kernel_size1,stride1),nn.BatchNorm2d(channels*2))self.shortcut2nn.Sequential(nn.Conv2d(channels,channels,kernel_size1,stride1),nn.BatchNorm2d(channels))self.center_layernn.Sequential(nn.Conv2d(2*channels,channels,kernel_size3,stride1,padding1),nn.BatchNorm2d(channels),nn.ReLU(inplaceTrue),nn.Conv2d(channels,channels,kernel_size3,padding1),nn.BatchNorm2d(channels))defforward(self,S,T):STtorch.cat((S,T),dim1)out1self.ca1(ST)*self.sa(ST)*ST res1self.shortcut1(ST)out1res1 out2self.center_layer(out1)res2self.shortcut2(out2)outself.ca2(out2)*self.sa(out2)*out2 outres2 outself.relu(out)returnoutYOLO11引入代码在根目录下的ultralytics/nn/目录新建一个featureFusion目录然后新建一个以STFFM.py为文件名的py文件 把代码拷贝进去。importtorchimporttorch.nnasnnclassChannelAttention(nn.Module):def__init__(self,channels,reduction16):super().__init__()hiddenmax(channels//reduction,1)self.avg_poolnn.AdaptiveAvgPool2d(1)self.max_poolnn.AdaptiveMaxPool2d(1)self.mlpnn.Sequential(nn.Conv2d(channels,hidden,1,biasFalse),nn.ReLU(inplaceTrue),nn.Conv2d(hidden,channels,1,biasFalse),)self.sigmoidnn.Sigmoid()defforward(self,x):returnself.sigmoid(self.mlp(self.avg_pool(x))self.mlp(self.max_pool(x)))classSpatialAttention(nn.Module):def__init__(self,kernel_size7):super().__init__()paddingkernel_size//2self.convnn.Conv2d(2,1,kernel_size,paddingpadding,biasFalse)self.sigmoidnn.Sigmoid()defforward(self,x):avg_maptorch.mean(x,dim1,keepdimTrue)max_map,_torch.max(x,dim1,keepdimTrue)xtorch.cat((avg_map,max_map),dim1)returnself.sigmoid(self.conv(x))classSTFFMUnit(nn.Module):def__init__(self,channels):super().__init__()self.caChannelAttention(channels)self.saSpatialAttention()defforward(self,x):yx*self.sa(x)yy*self.ca(y)returnxyclassSTFFM(nn.Module): Spatial-Temporal Feature Fusion Module. YOLO-adapted implementation: two inputs - concat - attention refinement - 1x1 projection. def__init__(self,channels):super().__init__()ifisinstance(channels,int):channels[channels,channels]iflen(channels)!2:raiseValueError(fSTFFM expects exactly two input feature maps, but got{len(channels)}.)out_channelschannels[1]self.proj1nn.Sequential(nn.Conv2d(channels[0],out_channels,1,biasFalse),nn.BatchNorm2d(out_channels),nn.ReLU(inplaceTrue),)self.proj2nn.Sequential(nn.Conv2d(channels[1],out_channels,1,biasFalse),nn.BatchNorm2d(out_channels),nn.ReLU(inplaceTrue),)self.refinenn.Sequential(STFFMUnit(out_channels*2),STFFMUnit(out_channels*2),STFFMUnit(out_channels*2),)self.reducenn.Sequential(nn.Conv2d(out_channels*2,out_channels,1,biasFalse),nn.BatchNorm2d(out_channels),nn.ReLU(inplaceTrue),)defforward(self,x):x1,x2x x1self.proj1(x1)x2self.proj2(x2)xtorch.cat((x1,x2),dim1)xself.refine(x)returnself.reduce(x)注册在ultralytics/nn/tasks.py中进行如下操作步骤1:fromultralytics.nn.featureFusion.STFFMimportSTFFM步骤2修改def parse_model(d, ch, verboseTrue):elifmisSTFFM:c2ch[f[1]]args[[ch[x]forxinf],*args]配置yolo11-STFFM.yaml# Ultralytics YOLO , AGPL-3.0 license# YOLO11 object detection model with STFFM fusion blocks.nc:8scales:n:[0.50,0.25,1024]s:[0.50,0.50,1024]m:[0.50,1.00,512]l:[1.00,1.00,512]x:[1.00,1.50,512]backbone:-[-1,1,Conv,[64,3,2]]-[-1,1,Conv,[128,3,2]]-[-1,2,C3k2,[256,False,0.25]]-[-1,1,Conv,[256,3,2]]-[-1,2,C3k2,[512,False,0.25]]-[-1,1,Conv,[512,3,2]]-[-1,2,C3k2,[512,True]]-[-1,1,Conv,[1024,3,2]]-[-1,2,C3k2,[1024,True]]-[-1,1,SPPF,[1024,5]]-[-1,2,C2PSA,[1024]]head:-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,6],1,STFFM,[]]-[-1,2,C3k2,[512,False]]-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,4],1,STFFM,[]]-[-1,2,C3k2,[256,False]]-[-1,1,Conv,[256,3,2]]-[[-1,13],1,STFFM,[]]-[-1,2,C3k2,[512,False]]-[-1,1,Conv,[512,3,2]]-[[-1,10],1,STFFM,[]]-[-1,2,C3k2,[1024,True]]-[[16,19,22],1,Detect,[nc]]实验脚本importwarnings warnings.filterwarnings(ignore)fromultralyticsimportYOLOif__name____main__:# 修改为自己的配置文件地址modelYOLO(./ultralytics/cfg/models/11/yolo11-STFFM.yaml)# 修改为自己的数据集地址model.train(data./ultralytics/cfg/datasets/coco8.yaml,cacheFalse,imgsz640,epochs10,single_clsFalse,# 是否是单类别检测batch8,close_mosaic10,workers0,optimizerSGD,ampTrue,projectruns/train,nameSTFFM,)结果
