RAVR: Reference-Answer-guided Variational Reasoning for Large Language Models

文章核心总结与翻译一、主要内容本文针对大型语言模型（LLMs）在强化学习（RL）优化中面临的核心挑战——难以采样高质量推理路径、易强化次优推理——提出了一种基于参考答案引导的变分推理框架（RAVR）。核心问题：传统RL方法依赖模型已能以非忽视概率生成有效推理路径，但在超出模型能力范围的任务中，高质量推理路径采样困难，导致训练陷入“强化熟悉但次优推理”的困境。核心洞察：借鉴认知科学中“解释答案（Why is this the answer）比寻找答案（What is the answer）更简单”的规律，LLMs可借助参考答案推导高质量推理路径，且基于答案的条件推理能显著提升采样推理路径的期望效用。框架设计：变分推理核心：将“基于问题+答案的推理（后验分布）”作为“仅基于问题的推理（先验分布）”的变分近似，通过最大化后验推理的效用、最小化前后验分布的KL散度优化证据下界（ELBO）。稳定训练策略：引入先验效用基线（衡量后验推理的改进幅度）、第一人称“思考独白”提示（统一前后验推理的语言风格）、效用加权KL估计（对齐高效用推理分布）等设计。实验结果：在通用推理（GPQA-Diamond、MMLU-Pro）和数学推理（AIME、AMC、Minerva）基准上，RAVR显著优于GRPO、DAPO等主流方法，且能减少推理犹豫、强化结论巩固、促进任务特异性推理策略