note本文提出了VQAThinker一种基于推理的VQA框架通过结合大型多模态模型和强化学习实现了可泛化和可解释的视频质量评估。它把视频质量评估从“直接回归一个分数”升级成“先像人一样分析视频有哪些质量问题再给出分数”并用 GRPO 强化学习只靠 MOS 分数监督就训练出既能打分、又能解释的视频质量评估模型。VQAThinker引入了三种VQA特定奖励函数分别用于细粒度的得分预测、相对质量判别和时间失真建模。广泛的实验表明VQAThinker在领域内和领域外的基准测试中均取得了最先进的性能并通过显式的推理轨迹提供了强大的可解释性。三大reward① Bell-shaped Regression Reward让分数更细② Pairwise Ranking Reward让相对排序更稳③ Temporal Consistency Reward让模型更懂时序问题文章目录note一、研究背景二、VQAThinker1、模型架构2、GRPO训练3、Reward设计三、实验设计四、结果与分析Reference一、研究背景论文VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning2026.2https://github.com/clh124/VQAThinker开源模型https://huggingface.co/kkkkkklinhan/InternVL3-VQAThinker-8B研究问题这篇文章要解决的问题是视频质量评估VQA即如何客观量化视频质量的主观退化使其与人类视觉感知一致。尽管现有的VQA模型取得了一定的进展但它们在泛化到分布外OOD视频和可解释性方面仍存在两个关键限制。研究难点该问题的研究难点包括现有VQA模型在处理分布外视频时表现不佳缺乏可解释性难以在实际场景中应用。相关工作该问题的研究相关工作包括基于手工特征的早期方法、深度神经网络DNN架构、大型多模态模型LMM以及强化学习RL的应用。这些方法在不同程度上提高了VQA的性能但仍存在泛化能力和可解释性的不足。二、VQAThinker这篇论文提出了VQAThinker一种基于推理的VQA框架利用大型多模态模型 LMMs和强化学习来联合建模视频质量理解和评分模拟人类的感知决策过程。1、模型架构1、模型架构VQAThinker采用一个开源的LMM作为骨干输入视频和文本提示生成一个包含质量推理轨迹和质量得分的响应。为了实现时间感知的视频质量建模还引入了一个冻结的运动特征提取器来提取局部时间动态。2、GRPO训练2、强化学习策略采用组相对策略优化GRPO来训练VQAThinker消除对显式价值函数的需求。在训练过程中GRPO为一组视频生成多个质量响应并使用特定的VQA奖励函数进行评估。3、Reward设计VQA特定奖励函数设计了三个VQA特定奖励函数钟形回归奖励通过高斯函数实现随着预测误差的减小而迅速增加并在接近真实值时逐渐变得不敏感。成对排名奖励通过比较视频对的预测得分与真实得分的排名一致性来指导模型。时间一致性奖励通过比较原始视频和时间扰动视频的模型预测来捕捉时间失真。Reward作用通俗理解1. Bell-shaped Regression Reward让预测分数接近真实 MOS模型输出的质量分越接近人工 MOS奖励越高而且接近正确答案时奖励更细逼模型学会精细打分2. Pairwise Ranking Reward让视频质量排序正确如果真实标签里视频 A 比视频 B 质量高模型也应该预测 A 分数 B 分数3. Temporal Consistency Reward让模型识别视频时序退化构造帧重复、丢帧、乱序等时序扰动视频要求模型认为原视频质量高于扰动视频三、实验设计数据集VQAThinker在LSVQ数据集上进行训练该数据集包含28,056个用户生成视频。评估方面从视频质量评分和视频质量理解两个角度进行评估。视频质量评分的评估数据集包括LSVQ Test、LSVQ 1080p、KoNViD-1k、LIVE-VQC、YouTube-UGC等。视频质量理解的评估数据集包括FineVD和Q-Bench-Video。对比方法将VQAThinker与无监督方法如NIQE、VIIDEO、STEM、CLIP-IQA、监督方法如SimpleVQA、FAST-VQA、DOVER、MinimalisticVQA、Q-Align、VQA2-Scorer以及强化学习方法如Q-Insight、VisualQuality-R1、VQ-Insight进行对比。实现细节使用InternVL3-8B作为LMM骨干SlowFast作为运动特征提取器初始化为公开发布的权重。在训练过程中运动特征提取器保持冻结其他组件进行微调。GRPO训练器中响应数量K设为4KL惩罚系数β设为0.04。模型在8个NVIDIA A800 GPU上进行三周期训练总批量大小为64学习率为1×10−6。四、结果与分析视频质量评分在十个VQA基准测试中VQAThinker在几乎所有基准上均取得了最先进的性能并在整体准确性上优于所有对比方法。与最近的RL方法VQ-Insight相比VQAThinker采用了更简洁的训练过程但性能更优。视频质量理解在FineVD和Q-Bench-Video基准上VQAThinker在没有显式视频质量指令数据的情况下仍然表现出色。在FineVD上VQAThinker显著优于开源LMMs和RL基线模型甚至超过了FineVQ模型。在Q-Bench-Video上VQAThinker的表现仅次于VQA2-Assistant后者在157K指令-答案对上进行训练。消融研究通过消融研究验证了运动特征提取器、推理输出和三种VQA特定奖励函数的贡献。结果表明移除任何一个模块都会导致大多数数据集上的性能下降强调了各模块的互补性和设计的必要性。Reference[1] VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning
