1. 从“能说”到“会说”为什么我们需要一个全新的语音合成评测基准如果你最近关注过AI语音领域可能会发现一个有趣的现象无论是虚拟主播、有声书还是智能客服合成语音的“自然度”和“表现力”已经达到了一个相当高的水平。我们似乎已经解决了“让机器说话”这个基本问题。但如果你让一个语音助手模仿一声叹息、一段笑声或者用语气词“嗯……”来表达思考结果往往会变得非常生硬甚至滑稽。这背后暴露的正是当前语音合成技术评测体系的一个巨大盲区——我们过于关注语言内容说什么而严重忽视了非语言发声怎么说以及那些不构成词语的声音的表达能力。这就是“NVBench”这个评测基准诞生的核心背景。它不是一个简单的“跑分”工具而是语音合成领域一次重要的范式转变。传统的评测基准如MOS平均意见分主要评估的是语音的清晰度、自然度和相似度其测试语料几乎全部由完整的、有意义的句子构成。然而人类的真实交流中充满了“嗯”、“啊”、“呃”这样的填充词以及笑声、咳嗽、叹息等副语言信息。这些非语言发声Non-verbal Vocalizations对于传递情感、态度、意图和对话的流畅性至关重要。一个只会“念稿”的合成语音在需要表现犹豫、惊喜、尴尬或亲切感的场景下会立刻显得“不像人”。NVBench的“双语”特性中英文则进一步拓宽了它的视野。不同语言和文化背景下的非语言发声习惯存在显著差异。例如中文表达思考的“嗯……”其音高和时长模式可能与英文的“um…”有所不同。一个只针对单一语言优化的模型在跨语言场景下可能会“水土不服”。因此NVBench旨在建立一个更全面、更贴近人类真实交流模式的评测标准推动语音合成技术从“文本到语音”的转换迈向“情感与意图到语音”的生成。2. NVBench评测体系的核心维度与设计逻辑要理解NVBench的价值我们必须深入其评测体系的设计。它并非简单地增加了几类声音样本而是构建了一个多维度的、可量化的评估框架。我将其核心设计逻辑拆解为以下几个层面这有助于我们理解在构建或使用类似基准时应该关注哪些关键点。2.1 语料库构建真实性与覆盖度的平衡构建评测基准的第一步也是最具挑战性的一步就是语料库的采集与标注。NVBench在这方面做了大量细致的工作。数据来源的真实性与许多使用纯净录音室数据或演员表演数据的语料库不同NVBench更倾向于从真实的、自发的对话场景中采集数据例如播客、访谈节目、影视剧对话片段。这是因为在自然交流中产生的非语言发声其声学特征如音高、能量、时长和出现语境远比表演出来的更复杂、更真实。例如一个因真正困惑而发出的“呃……”和一个演员刻意表演的“呃……”在频谱的细微变化上可能存在差异后者往往更“规整”。非语言发声类别的系统化定义NVBench对非语言发声进行了细致的分类这远不止是“笑声”和“叹息”那么简单。一个典型的分类体系可能包括填充词与犹豫声如“um”, “uh”, “嗯”, “呃”。用于维持话轮、表示思考。情感性发声如笑声咯咯笑、大笑、哭泣、叹息、惊呼“哇”、“天啊”。生理性发声如咳嗽、清嗓子、打哈欠。反馈性发声如表示倾听和理解的“mhm”, “嗯嗯” 表示赞同的“对”、“是的”短促版。对于每一类发声都需要收集足够多的样本并覆盖不同的说话人、不同的情感强度和不同的上下文。例如笑声需要包含从轻笑到开怀大笑的多种样本。双语对齐与标注一致性这是“双语”基准的难点。NVBench需要确保中英文语料在类别定义、情感强度、语境复杂度上具有可比性。标注工作不仅需要标注出发声的起止时间和类别可能还需要标注其伴随的情感标签如愉悦、惊讶、困惑、在对话中的功能如话轮转换信号、反馈信号以及其与前后语言内容的关联。这需要语言学、语音学和计算机科学领域的专家共同制定详尽的标注规范并对标注员进行严格培训以保证标注结果的一致性。2.2 评测任务设计超越单一的自然度打分有了高质量的语料库下一步就是设计评测任务。NVBench的核心创新在于它不再将“合成一段话”作为一个黑盒进行整体打分而是设计了更具针对性的子任务以诊断模型在不同维度的能力。任务一非语言发声的孤立生成与插入这是最基础的任务。给定一个文本提示如“[laughter]”或“[hesitation]”要求模型生成对应的非语言发声。或者给定一个包含非语言发声标记的文本序列如“今天天气真好[laughter]我们去公园吧”要求模型在正确的位置合成出相应的非语言声音。这个任务主要评测模型对特定非语言发声类别的建模能力以及其与语言语音在韵律上的衔接是否自然。注意在“插入”任务中最大的挑战是前后过渡的平滑性。一个生硬插入的笑声会像音频剪辑错误一样刺耳。评测时需要特别关注拼接点附近的基频F0轨迹和频谱连续性。任务二上下文感知的非语言发声生成这是更高级的任务。给定一段对话文本可能包含说话人角色和简单的情绪标签要求模型在合适的时机、生成合适类别和强度的非语言发声。例如在一段表达惊讶的对话后自动生成一声短促的吸气或“哇”在一段犹豫的思考过程中插入适当的“嗯……”。这个任务评测的是模型对对话语义、情感和语用规则的理解能力。任务三双语跨语言生成一致性评测这是体现其“双语”价值的关键任务。对于同一个语义场景例如表达尴尬的道歉分别提供中文和英文的文本描述要求模型生成包含相应非语言发声如尴尬的笑声或清嗓子的语音。评测者需要判断两种语言下生成的非语言发声在传达“尴尬”这一情感上是否具有一致性和恰当性。这直接考验了模型是否学习到了超越语言符号的、共通的情感声音表达模式。2.3 评测指标主观与客观的结合传统的MOS分依然重要但NVBench引入了更多维度的指标以全面评估生成效果。主观评测指标自然度与适切性生成的发声听起来是否像真人发出的它出现在那个语境下是否合适、不突兀情感表现力发声是否能有效传达预期的情感如欢快、悲伤、犹豫其强度是否恰当双语一致性对于同一场景中英文版本生成的非语言发声在情感表达上是否给人相似的感受客观评测指标声学特征匹配度计算生成发声与真实发声在梅尔频谱、基频F0、时长等方面的距离如MCD, DTW对齐后的F0 RMSE。这可以量化生成声音在物理特征上的逼真程度。分类准确率使用一个预先训练好的非语言发声分类器对生成的声音进行分类。如果生成的“笑声”被分类器以高置信度判定为“笑声”说明其声学特征与该类别高度吻合。上下文预测任务使用生成的非语言发声或其声学特征作为输入尝试预测其所在的对话上下文或情感标签。预测准确率越高说明生成的发声与上下文的关联性越强。3. 对现有语音合成技术的挑战与启示NVBench的出现像一面镜子清晰地照出了当前主流语音合成技术的短板同时也指明了未来的进化方向。挑战一数据饥渴与标注成本当前最先进的语音合成模型如VITS、NaturalSpeech等严重依赖于大规模、高质量的音频文本配对数据。而非语言发声数据在现有语料库中占比极低且标注规范不一。构建NVBench级别的数据集需要投入巨大的人力进行精细标注。这对于大多数研究团队和公司来说是一个很高的门槛。这启示我们可能需要探索自监督或弱监督的方法从海量的未标注多媒体数据如视频中自动检测和提取非语言发声片段。挑战二建模范式的局限多数TTS模型将语音生成视为一个“文本到声学特征”的确定性映射过程。而非语言发声的生成往往更依赖于对话状态、说话人情感和即时语境这些信息很难完全从文本中获取。例如文本上都是“好的”但根据对话历史合成时可能需要配上愉悦的“好哒”或无奈的“好吧……”或思考后的“嗯……好的”。这就要求模型架构必须能够有效融合额外的条件信息如情感嵌入向量、对话历史编码甚至是对听者虚拟反应的预测。挑战三评价指标的滞后正如前文所述单一的MOS分无法衡量非语言发声生成的优劣。NVBench推动社区建立更细粒度的评价体系。在实际研发中我们可以在内部构建一个简化版的NVBench针对自家产品的核心场景如智能客服的“倾听反馈声”、虚拟人的“情感反应声”设计专门的评测集和指标从而更精准地指导模型优化。启示从TTS迈向“对话式语音生成”NVBench的终极启示在于它将语音合成的目标从“朗读”提升到了“对话参与”。未来的语音合成系统或许应该被看作一个对话智能体的组成部分。它接收的输入不仅是文本还包括对话上下文、用户情感、环境信息等它的输出也不仅是语言内容而是一个完整的、包含语言和非语言元素的语音行为。这要求我们在系统设计上将语音合成模块与对话管理、情感计算等模块更紧密地耦合起来。4. 实战如何利用NVBench思想改进你的语音合成项目你可能暂时无法复现完整的NVBench基准但其核心思想可以立刻应用到你的项目中。以下是我结合自身经验总结的几点可操作建议。4.1 数据层面的“微”改造即使没有大规模标注数据你也可以从现有数据中“挖掘”非语言发声。利用公开数据集寻找包含自然对话的语音数据集如AMI、Switchboard或一些开源的中文对话语料。使用简单的语音活动检测VAD工具找出静音段之间的短语音片段。启发式规则过滤对这些短片段通常小于1秒应用一些启发式规则进行初筛。例如笑声通常具有特定的基频轮廓快速起伏和频谱特征填充词“嗯”通常能量较低、音高平稳。你可以用开源工具如Praat提取这些片段的声学特征进行粗略聚类。人工精标与扩增对筛选出的候选片段进行人工听取和标注。即使只获得几百个高质量的非语言发声样本其价值也远超数万句纯净朗读数据。你可以用这些样本对预训练的TTS模型进行微调Fine-tuning或者训练一个小的非语言发声生成器在推理时与主TTS模型配合使用。4.2 模型架构的“巧”设计不需要推倒重来可以在现有Pipeline上增加“插件”。方案A两阶段生成。主TTS模型正常生成语言部分语音。同时一个独立的、轻量级的“非语言事件预测模型”可以是一个简单的分类网络或序列标注模型根据文本和上下文预测在哪些位置需要插入何种非语言发声。然后调用一个专门的“非语言发声生成模型”可以用上述微调后的模型生成对应的音频片段最后使用高质量的音频拼接或波形融合算法如基于神经网络的声码器进行连贯合成将两者无缝连接。这种方案模块清晰易于调试。方案B条件化端到端模型。在训练端到端TTS模型如VITS时在输入中除了文本序列额外增加一个“发声类型”序列作为条件。例如将文本“今天真开心”扩展为“今天真开心[laughter]”。在数据标注时就需要在文本中插入这些标记。模型在训练过程中会学会将这些标记映射为相应的非语言声音。这种方案更优雅但对数据标注的要求更高且需要模型有足够强的容量来学习这种多模态映射。4.3 评测流程的“新”视角立即在内部评测中引入对非语言能力的关注。构建针对性测试集从你的产品真实交互日志中挑选出那些“当前合成语音听起来特别生硬或不合时宜”的对话片段。重点分析这些片段是否缺失了应有的非语言反馈如用户说完后合成语音没有任何表示“在听”的轻声反馈。设计简单的ABX测试对于同一个文本让现有模型生成一个版本A再让模型尝试生成一个带非语言发声如句尾的轻笑的版本B。进行小范围的主观评测让评测者判断哪个版本更自然、更富有情感。关注跨场景一致性如果你的产品支持多语言或多角色测试同一个功能点在不同语言或不同角色下非语言表达是否一致。例如中英文客服在表示“请稍等”时是否都会伴有适当的、表示安抚的停顿或语气词。在我参与的一个虚拟数字人项目中我们采用了“方案A”。最初数字人的对话听起来像在背诵台词。我们收集了约500个各类非语言发声样本主要是笑声、叹息和反馈声微调了一个小型的FastSpeech2模型作为发声生成器。同时我们基于对话的语义分析使用情感分析API和对话行为识别设计了一套简单的规则来决定何时触发何种发声。虽然规则相对简单但上线后用户的直观反馈是“感觉更像真人在聊天了”对话的沉浸感得到了显著提升。这个案例说明即使是从小处着手引入非语言发声思维也能带来可感知的体验优化。5. 未来展望NVBench将引领语音合成走向何方NVBench作为一个标杆其影响将是深远的。它不仅仅是一个评测工具更是一个研究议程的宣告。方向一更细粒度的可控生成未来的语音合成系统或许会提供一个“情感与副语言调节面板”。用户或上游系统不仅可以控制说什么还可以精细控制“以何种情绪说”、“在何处加入犹豫”、“笑声的强度和类型是什么”。这将极大地增强合成语音在游戏、影视配音、个性化内容创作等领域的表现力。方向二跨模态的统一生成非语言发声往往与面部表情、肢体动作协同出现。NVBench的思想可以扩展到多模态生成领域。一个理想的虚拟人应该能根据同一份“意图脚本”同步生成匹配的语音包含语言和非语言、面部动画和手势。这将催生全新的、评测多模态表现力的基准。方向三个性化与文化适配每个人的笑声、叹息都独一无二。未来的系统可能需要学习特定人物的非语言发声习惯以实现高度拟真的声音克隆。同时NVBench的双语特性提醒我们必须考虑文化差异。一套系统在生成中文语音时其非语言表达模式应该符合中文交流的习惯而不是简单套用英文模式。这要求模型在训练时就能感知到语言和文化背景的差异。方向四从评测到生成闭环优化最终NVBench这类基准的评测指标本身可能会被转化为可微分的损失函数直接用于训练模型。例如我们可以训练一个“非语言发声判别器”作为生成对抗网络GAN中的判别器来引导生成器产生更自然、更适切的非语言声音从而实现端到端的优化。NVBench的出现标志着语音合成研究开始正视人类交流中那“无法言说”的部分。它挑战了我们过去对“好语音”的定义将技术的追求从“清晰准确”推向“富有生命”。对于从业者而言拥抱这个变化意味着我们需要更深入地理解语言学、心理学并将这些理解转化为工程上的创新。这条路并不容易但毫无疑问谁先在这条路上取得突破谁就能在下一代人机交互的竞争中创造出真正打动人心的声音。
