Semantic-Preserving Cross-Style Visual Reasoning for Robust Multi-Modal Understanding in Large Vi...

发布时间:2026/7/6 14:59:57
Semantic-Preserving Cross-Style Visual Reasoning for Robust Multi-Modal Understanding in Large Vi... 一、文章主要内容总结该研究针对大型视觉语言模型(LVLMs)在处理多样化视觉风格时面临的“风格陷阱”问题展开,核心是解决模型难以剥离风格与内容、导致语义理解鲁棒性不足(尤其在上下文学习场景中)的痛点。为此,提出了语义保留跨风格视觉推理框架(SP-CSVR),通过三大核心模块协同工作,实现风格-内容解耦与跨风格语义一致性:跨风格特征编码器(CSFE):基于Transformer架构,引入风格自适应注意力层,动态融合风格嵌入与视觉特征,实现风格信息与语义内容的有效分离;语义对齐上下文解码器(SAICD):借助语义锚点投影机制,将视觉特征映射到风格无关的共享语义空间,并通过轻量级LoRA适配器,支持少量样本下的快速风格自适应;自适应语义一致性模块(ASCM):采用多任务对比学习,整合InfoNCE损失、语义保留损失和循环一致性损失,强制模型学习风格不变的语义表示。实验在MulStyle-VQA-100K数据集上验证,SP-CSVR在图像描述、视觉问答(VQA)和上下文风格自适应三大任务中均达到SOTA性能,同时具备参数高效(仅0.72M可训练参数)、推理速度快(115ms/图像)和跨风格泛化能力强等优势,经消融实验、人类评估和语义解耦验证,证实了各模块的必要性和有效性。二、文章创新点提出SP-CSVR框架:首次将风格-内容解耦、语义对齐自适应推理与多任务语义一致性约束整合,系统性解决LVLMs的“风格