LLM-YOLOMS: Large Language Model-based Semantic Interpretation and Fault Diagnosis for Wind Turbi...

发布时间:2026/7/17 6:28:23
LLM-YOLOMS: Large Language Model-based Semantic Interpretation and Fault Diagnosis for Wind Turbi... 文章主要内容和创新点总结一、主要内容该研究针对风力发电机(WT)部件故障检测面临的样本稀缺、检测结果缺乏语义可解释性及难以支撑运维决策的问题,提出了LLM-YOLOMS智能诊断框架。该框架以无人机采集的高分辨率图像为输入,通过四阶段流程实现故障检测、分析与运维建议生成:YOLOMS模块:基于YOLOv12优化,采用多尺度裁剪和滑动窗口裁剪技术扩充数据集,增强故障特征提取能力,输出带识别框的图像及包含故障标签、置信度、坐标等信息的特征向量;KV映射模块:作为视觉与文本模态的桥梁,将YOLOMS输出的多维向量转换为含定性(故障类型)和定量(发生频率、损伤面积)属性的结构化文本,避免标签重叠导致的信息丢失;Qwen2-VL模块:融合视觉图像与KV文本描述,利用多模态能力辅助故障检测,输出涵盖故障类型、严重程度的关键信息;领域微调Llama模块:基于风电运维日志和手册构建的专业问答数据集微调,对Qwen2-VL输出进行语义推理,生成含故障成因、风险评估、运维方案的结构化报告。实验验证表明,该框架故障检测准确率达90.6%,运维报告平均准确率89%,在裂纹、表皮脱粘、表面缺陷、点蚀四类故障检测中均表现出高鲁棒性。二、创新点提出LLM-YOLOMS一体化框架,首次将YOLO系列的故障特征提取能力与大语言模型(LLM)的语义推理能力深