背景：TwinLlama-3.1-8B的微调目标在微调一个领域模型时，除了基础的知识保留，通常还希望模型在写作风格上有所提升。TwinLlama-3.1-8B是一个基于Llama-3.1-8B的微调模型，我们在特定对话数据上进行了SFT（监督微调）和DPO（偏好对齐），期望它在回答风格上更贴近目标风格，同时不损失准确性。为了客观评估微调效果，我们需要一个可复现的评估流程。传统ML指标（如ROUGE、BLEU）难以衡量风格，而人工评估成本高、一致性低。此时，LLM-as-judge方法提供了一个高效替代方案：使用一个强大的LLM（如GPT-4o-mini）作为裁判，对模型输出进行多维评分。生成评估答案：使用vLLM批量对比不同模型评估的第一步是生成待评答案。我们选取三组模型输出进行对比：SFT版本：经监督微调后的TwinLlama-3.1-8BDPO版本：在SFT基础上经过偏好对齐的版本官方Instruct模型：原始Llama-3.1-8B-Instruct（基线）使用vLLM进行批量推理，统一设置如下参数：参数值温度0.7top_p0.9最大生成token数512批量大小8评估数据集包含100条测试指令，覆盖知识问答、创意写作、风格模仿三类任务。每条指令都预先准备了参考答案（ground truth），用于后续准确性评分。生成过程的伪代码如下：# 伪代码：vLLM批量生成fromvllmimportLLM,SamplingParams models={"sft":"./twinllama-3.1-8b-sft","dpo":"./twinllama-3.1-8b-dpo","instruct":"meta-llama/Llama-3.1-8B-Instruct"}sampling_params=SamplingParams(temperature=0.7,top_p=0.9,max_tokens=512)forname,model_pathinmodels.items():llm=LLM(model
)
