LLM-YOLOMS: Large Language Model-based Semantic Interpretation and Fault Diagnosis for Wind Turbi...

文章主要内容和创新点总结

一、主要内容

该研究针对风力发电机（WT）部件故障检测面临的样本稀缺、检测结果缺乏语义可解释性及难以支撑运维决策的问题，提出了LLM-YOLOMS智能诊断框架。该框架以无人机采集的高分辨率图像为输入，通过四阶段流程实现故障检测、分析与运维建议生成：

1. YOLOMS模块：基于YOLOv12优化，采用多尺度裁剪和滑动窗口裁剪技术扩充数据集，增强故障特征提取能力，输出带识别框的图像及包含故障标签、置信度、坐标等信息的特征向量；
2. KV映射模块：作为视觉与文本模态的桥梁，将YOLOMS输出的多维向量转换为含定性（故障类型）和定量（发生频率、损伤面积）属性的结构化文本，避免标签重叠导致的信息丢失；
3. Qwen2-VL模块：融合视觉图像与KV文本描述，利用多模态能力辅助故障检测，输出涵盖故障类型、严重程度的关键信息；
4. 领域微调Llama模块：基于风电运维日志和手册构建的专业问答数据集微调，对Qwen2-VL输出进行语义推理，生成含故障成因、风险评估、运维方案的结构化报告。

实验验证表明，该框架故障检测准确率达90.6%，运维报告平均准确率89%，在裂纹、表皮脱粘、表面缺陷、点蚀四类故障检测中均表现出高鲁棒性。

二、创新点

1. 提出LLM-YOLOMS一体化框架，首次将YOLO系列的故障特征提取能力与大语言模型（LLM）的语义推理能力深