如何快速上手MOSS-Transcribe-Diarize：5分钟完成音频转写与说话人分离

如何快速上手MOSS-Transcribe-Diarize5分钟完成音频转写与说话人分离【免费下载链接】MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize 是 OpenMOSS 团队推出的开源语音转写与说话人分离模型。它对长音频、多说话人音频进行统一建模支持自动语音识别、带说话人标识的转写、说话人分离、时间戳预测以及简洁转录文本生成。项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize想要快速实现长音频转写和多人对话分离MOSS-Transcribe-Diarize是你的终极解决方案这个由OpenMOSS团队开发的开源语音转写与说话人分离模型能够在短短5分钟内帮你完成复杂的音频处理任务。无论你是处理会议录音、采访音频还是制作播客字幕这个工具都能轻松应对。 快速安装指南环境配置首先确保你的系统已安装Python 3.12。我们推荐使用Conda环境来管理依赖git clone https://gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize cd MOSS-Transcribe-Diarize conda create -n moss-transcribe-diarize python3.12 -y conda activate moss-transcribe-diarize conda install -c conda-forge ffmpeg7 -y pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e .[torch-runtime]如果你的GPU支持FlashAttention 2可以安装优化版本pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e .[torch-runtime,flash-attn] 一键转写实战命令行快速使用最简单的转写方式就是使用命令行工具python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/your_audio.mp3 \ --decoding greedy \ --max-new-tokens 2048想要JSON格式的输出只需添加一个参数python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/your_video.mp4 \ --jsonMOSS-Transcribe-Diarize采用模块化音频-语言设计包含音频编码器、模态适配器和因果语言模型三个核心组件。这种架构让它能够同时处理语音识别、说话人分离和时间戳预测真正实现了一站式音频处理。 Python代码集成如果你更喜欢在代码中集成这里有一个完整的Python示例import torch from transformers import AutoModelForCausalLM, AutoProcessor from moss_transcribe_diarize.inference_utils import ( build_transcription_messages, generate_transcription, resolve_device, ) model_id OpenMOSS-Team/MOSS-Transcribe-Diarize audio_path /path/to/your_audio.mp3 device resolve_device(auto) dtype torch.bfloat16 if device.type cuda else torch.float32 model AutoModelForCausalLM.from_pretrained( model_id, trust_remote_codeTrue, dtypeauto, ).to(dtypedtype).to(device).eval() processor AutoProcessor.from_pretrained( model_id, trust_remote_codeTrue, fix_mistral_regexTrue, ) messages build_transcription_messages(audio_path) result generate_transcription( model, processor, messages, max_new_tokens2048, do_sampleFalse, devicedevice, dtypedtype, ) print(result[text]) 输出格式详解MOSS-Transcribe-Diarize生成的转写结果采用标准化的格式[开始时间][说话人编号]转写文本[结束时间]实际示例[0.48][S01]欢迎各位参加今天的会议[1.66][12.26][S02]新的转录系统已经准备就绪[13.81][14.36][S01]很好请将说话人分离结果包含在报告中[18.76]在这个格式中开始时间和结束时间以秒为单位[S01]、[S02]等是模型生成的匿名说话人标签说话人标签是相对标识不代表真实的说话人身份 高级功能定制自定义提示词你可以根据具体需求定制转写指令messages build_transcription_messages( audio_path, prompt请为这段音频生成带有时间戳和说话人标签的转写文本。, )命令行中同样支持自定义提示词python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/audio.mp3 \ --prompt 请生成会议纪要格式的转写文本支持的文件格式音频文件MP3、WAV、FLAC等常见格式视频文件MP4、MOV、MKV等视频容器处理方式视频文件通过PyAV解码重采样为16kHz单声道音频⚡ 性能优势根据官方评估数据MOSS-Transcribe-Diarize在多个数据集上都表现出色数据集指标MOSS-Transcribe-DiarizeAISHELL-4字符错误率14.19%说话人感知错误率14.98%播客音频字符错误率4.46%说话人感知错误率6.97%️ 核心配置文件项目的主要配置文件包括configuration_moss_transcribe_diarize.py- 模型配置modeling_moss_transcribe_diarize.py- 模型架构processing_moss_transcribe_diarize.py- 数据处理preprocessor_config.json- 预处理器配置 使用技巧长音频处理模型支持长音频处理会自动分块处理GPU优化如果使用GPU建议开启FlashAttention 2加速内存管理对于特别长的音频可以适当调整max-new-tokens参数批量处理可以通过脚本批量处理多个音频文件 开始你的音频处理之旅现在你已经掌握了MOSS-Transcribe-Diarize的核心使用方法。无论是会议记录、采访整理还是播客制作这个工具都能大幅提升你的工作效率。记住音频处理从未如此简单——只需5分钟就能获得高质量的转写和说话人分离结果准备好开始了吗立即克隆仓库体验一站式音频处理的强大功能吧【免费下载链接】MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize 是 OpenMOSS 团队推出的开源语音转写与说话人分离模型。它对长音频、多说话人音频进行统一建模支持自动语音识别、带说话人标识的转写、说话人分离、时间戳预测以及简洁转录文本生成。项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考