一篇文章搞定语音转写进阶：whisperX 词级时间戳与说话人分离实战

一篇文章搞定语音转写进阶whisperX 词级时间戳与说话人分离实战【免费下载链接】whisperXWhisperX: Automatic Speech Recognition with Word-level Timestamps ( Diarization)项目地址: https://gitcode.com/gh_mirrors/wh/whisperX「预算翻一倍」这句话到底是谁在第几分钟说的上周的周会录音只有 32 分钟同事老王却来回听了两个多小时。不是他听力有问题而是普通语音识别工具只告诉他有人说了这句话却不告诉他是谁说的、具体在哪一秒说的。这正是 whisperX 这类开源语音识别工具存在的意义它不止把音频变成文字还能给每一个词标上精确时间戳并自动区分不同的说话人。本文用一次真实的会议录音处理过程带你从安装走到进阶 API 调用全程不需要深厚的算法背景。一个下午的教训为什么普通转写救不了会议录音whisperX 脱胎于 OpenAI 的 Whisper 模型但它专治 Whisper 的三个老大难时间戳太粗Whisper 只给句子级时间戳整体偏移几秒是常事。whisperX 引入音素级强制对齐把时间精度细化到单个单词一个词对应音频上哪一秒一目了然。不支持批量Whisper 原生无法批量推理处理长音频慢得让人心焦。whisperX 换用 faster-whisper 后端并先用语音活动检测VAD切出有效语音段再分批喂给模型官方给出的数据是 large-v2 模型下可达约 70 倍实时速度。分不清谁在说话这正是老王最痛的一点。whisperX 接入 pyannote.audio 的说话人分离Speaker Diarization能力自动把音频里不同的声音切成不同片段分别标成 SPEAKER_00、SPEAKER_01……它不负责认出张三李四只负责把不同的人分开编号。图 1whisperX 的处理流水线。原始音频先经过 VAD 切分合并补零到 30 秒批量送入 Whisper 识别再借助音素模型做强制对齐最终输出词级时间戳。开工前的装备清单环境、依赖与一个 HF Token动笔跑命令之前先照单备齐这几样东西能省下大量排错时间Python 3.10项目 README 明确建议的版本用其他版本风险自负。ffmpeg音频解码的基础依赖缺了它连音频都读不进来。合适的硬件large-v2 模型搭配 beam_size5 大约需要 8GB 以内显存没有 GPU 也能跑后面会说到 CPU 方案。获取项目代码并安装依赖git clone https://gitcode.com/gh_mirrors/wh/whisperX cd whisperX pip install -r requirements.txt不想用开发版的话直接pip install whisperx装稳定版也可以。依赖清单在项目的 requirements.txt 里核心角色有三个torch/torchaudio 负责推理计算faster-whisper 负责批量转写pandas 负责把说话人时间线整理成表格nltk 则用来把结果按句子切分。还有一样容易被忽略的准备工作Hugging Face Access Token--hf_token。说话人分离依赖的 pyannote 系列模型是门控模型需要先到 Hugging Face 上同意对应模型的用户协议并生成一个只读 token否则--diarize会在加载模型时直接报错——这一步卡住了不少初学者。第一次实战一行命令输出带发言人标签的字幕假设会议录音存放在 audio_files/my_meeting.wav你估计现场有 2 到 4 个人那么只需一条命令python -m whisperx audio_files/my_meeting.wav --model medium --diarize --min_speakers 2 --max_speakers 4几个关键参数的速查表--modelWhisper 模型尺寸可选 tiny/base/small/medium/large-v2越大越准也越慢日常推荐 medium 起步。--diarize开启说话人分离的总开关对应 whisperx/transcribe.py 里的处理逻辑。--min_speakers/--max_speakers限定说话人数量范围。如果你确定只有两个人干脆都写成 2识别精度最高。--device默认有 GPU 自动走 cuda纯 CPU 机器建议追加--compute_type int8速度与显存占用更友好。想让字幕里每个词在被说出时高亮显示可以再加--highlight_words True在 srt/vtt 里会有下划线逐词扫过的视觉效果非常直观。看懂输出四个文件分别能干什么默认的--output_format all会在当前目录生成全套结果也可以用--output_dir指定存放位置它们各有分工.srt / .vtt标准字幕文件每一句前面带[SPEAKER_00]之类的标签直接拖进播放器就是分人字幕。.json结构化数据包含每个词的时间戳与置信度加上--return_char_alignments True还能拿到字符级对齐信息。.txt纯文本转写结果适合快速复制引用。.tsv表格格式方便丢进 Excel 里做二次统计。举一个最实用的玩法拿到 .json 之后按speaker字段过滤就能把某一位发言人的所有句子抽出来拼成一份个人发言集——做会议纪要和访谈摘录都靠它。进阶玩法用 Python 拆开流水线自己控制每一步命令行适合快速出活想精细控制就得走 Python API。whisperX 把整条流水线拆成了四步入口全部集中在 whisperx/init.pyimport whisperx device cuda audio_file audio.mp3 batch_size 16 compute_type float16 # 显存紧张可换 int8 # 1. 批量语音识别 model whisperx.load_model(large-v2, device, compute_typecompute_type) audio whisperx.load_audio(audio_file) result model.transcribe(audio, batch_sizebatch_size) # 2. 词级时间戳强制对齐 model_a, metadata whisperx.load_align_model(language_coderesult[language], devicedevice) result whisperx.align(result[segments], model_a, metadata, audio, device) # 3. 说话人分离 diarize_model whisperx.DiarizationPipeline(use_auth_tokenYOUR_HF_TOKEN, devicedevice) diarize_segments diarize_model(audio) # 4. 把说话人标签贴到每一句话、每一个词上 result whisperx.assign_word_speakers(diarize_segments, result)想理解背后的原理打开 whisperx/diarize.py 就够了两个核心部件都很直观DiarizationPipeline 类封装了 pyannote 的 speaker-diarization-3.1 模型输入音频后返回一张 DataFrame记录每个说话片段的起止时间和 SPEAKER 编号。assign_word_speakers 函数逐一计算每个转写片段与各说话人片段的时间重叠量谁重叠的时长最多这段话就判给谁。一句话概括这套算法时间重叠投票。谁的声音覆盖了这句话的大部分时长谁就是这句话的主人。效果不达标按这份排查清单逐项检查先建立合理预期说话人分离本身就不是 100% 完美的技术两人同时开口这类重叠语音是几乎所有系统的硬伤whisperX 也不例外。遇到问题按下面的顺序逐个排查说话人数量对不上知道确切人数就直接写死--min_speakers 2 --max_speakers 2这类写法最稳。标签张冠李戴分离结果只给编号不给身份编号和真人的对应关系需要自己根据内容确认太短的片段本来就容易判错。时间戳和字幕对不齐换更大的模型--model large-v2或者显式指定--align_model。个别词没有时间戳像 2014.、£13.60 这类字符不在对齐模型词典里属于项目已知限制不是你的操作问题。明显的语音被当成静音把--vad_onset从默认的 0.500 往下调。显存告急三件套组合拳——--batch_size 4、--compute_type int8、--model base。中文等非英语录音加上--language zh并建议配合--model large。whisperX 对中、英、法、德、西、意、日、荷、乌、葡等语言内置了默认对齐模型其他语种则需要自己到模型库找合适的音素模型。会开完了这些场景同样能用上处理完老王的会议录音你会发现这套流程的适用面远比想象中宽会议纪要自动化跑一遍--diarize把 srt 按说话人拆开自动生成逐人观点清单比逐段听录音快一个量级。播客内容二次创作用 json 按 speaker 筛选快速圈出嘉宾的金句片段配合词级时间戳直接定位剪辑点几分钟就能搭出金句集锦的素材池。课程与访谈复习长访谈变成带时间轴的谁说了什么回头找某一句话不再需要反复拖动进度条。跨语言研究--task translate能把非英语音频直接转成英文字幕不过要留意翻译模式不支持对齐。收尾去源码里继续挖whisperX 最值得读的几处代码命令行全部参数在 whisperx/transcribe.pyPython API 入口在 whisperx/init.py说话人分离核心逻辑在 whisperx/diarize.py多语言使用示例在 EXAMPLES.md。装好环境、跑通第一遍之后剩下的就是按需调整参数的事了。最后用一句话总结普通语音识别只告诉你说了什么whisperX 再补上什么时候说、是谁说的——这两块拼齐一段音频才算真正变成了可检索、可编辑、可复用的文字资产。【免费下载链接】whisperXWhisperX: Automatic Speech Recognition with Word-level Timestamps ( Diarization)项目地址: https://gitcode.com/gh_mirrors/wh/whisperX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考