1. 从老师傅的经验到AI的“火眼金睛”:为什么我们需要智能诊断?
干了这么多年电力设备运维,我见过太多老师傅拿着厚厚一摞DGA(溶解气体分析)报告,对着各种气体比值表,眉头紧锁地分析变压器到底哪里“不舒服”。氢气(H₂)、甲烷(CH₄)、乙烯(C₂H₄)、乙炔(C₂H₂)……这些气体就像变压器内部故障的“语言”,但解读这门语言,太依赖个人经验了。传统的比值法、三比值法、大卫三角形法,规则复杂,边界模糊,遇到几种气体浓度都处在临界值的情况,老师傅也得琢磨半天,还容易有争议。
更头疼的是,现在的电网规模越来越大,变压器数量激增,靠人工一张张报表看,效率低不说,还容易漏掉早期、微弱的故障征兆。等气体浓度高到规则能明确判断时,故障可能已经发展到比较严重的阶段了。这就好比医生看病,不能等病人高烧不退、疼痛难忍了才确诊,我们希望能有更灵敏、更快速的“体检”手段,在故障萌芽期就发出预警。
这就是机器学习登场的时候了。它就像一个不知疲倦、经验飞速增长的“超级学徒”。我们不再需要它死记硬背那些复杂的、有时自相矛盾的比值规则,而是直接把历史上成千上万台变压器的DGA数据和最终的故障检修结果“喂”给它。让它自己去寻找数据背后隐藏的、人类可能都总结不出来的复杂模式。它能综合所有特征气体浓度,甚至考虑它们的组合变化趋势,给出一个概率化的诊断结果。我的实战体会是,这套方法最大的优势有两个:一是一致性高,同一个数据输入,AI给出的结论永远一样,避免了人为波动;二是能发现隐性关联,有些故障的气体特征并不典型,但机器学习模型可能从海量数据中发现它与某些看似不相关的气体组合有微弱关联,从而实现早期预警。
所以,把传统DGA和机器学习结合,不是要取代老师傅,而是给老师傅配上一个强大的“AI助手”。让老师傅从繁琐的初筛中解放出来,去处理那些更复杂、更需要综合判断的疑难杂症。接下来,我就手把手带你走一遍这个“智能化升级”的全流程,从数据怎么来、怎么洗,到模型怎么建、怎么调,最后把结果明明白白展示出来。文末会提供完整的、可一键运行的代码和清洗好的数据集,你完全可以跟着做一遍,把它用在你自己的项目里。
2. 实战第一步:拿到并理解你的“病例本”——DGA数据集
巧妇难为无米之炊,数据集就是我们模型的“粮食”。网上能找到的公开DGA数据集不多,质量也参差不齐。我用的这份数据来源于知网的一篇高质量论文,我自己在多个项目里用过,效果很扎实。它包含了变压器油中溶解的7种关键特征气体(H₂, CH₄, C₂H₂, C₂H₄, C₂H₆, CO, CO₂)的浓度数据(单位通常是μL/L),以及对应的故障类型标签。
这个标签就是我们模型要学习预测的目标。通常,故障类型会被编码成数字,这样便于计算机处理。在我们的数据集里,对应关系是这样的:
- 1: 中低温过热 (150℃ < T ≤ 300℃)
- 2: 高温过热 (T > 700℃)
- 3: 低能放电(局部放电、火花放电)
- 4: 高能放电(电弧放电)
- 5: 局部放电(PD)
- 6: 正常 (Normal)
你可能会问,为什么“局部放电”既是3又是5?这里体现了数据标注的细节。在实际中,低能放电可能涵盖了一部分以局部放电为主的故障,而“局部放电”本身也可能是一个独立的分类。这正说明了现实数据的复杂性,也体现了机器学习模型能够处理这种多类别、有重叠的分类问题的优势。拿到数据后,别急着跑代码,先花点时间“摸摸”你的数据。用Python的Pandas加载数据,看看数据规模、有没有缺失值、各类故障的样本分布是否均衡。这一步能帮你避开很多坑。
import pandas as pd
import numpy as np
# 加载数据集
df = pd.read_excel('DGA_dataset.xlsx') # 假设数据文件名为这个
print("数据集形状(行,列):", df.shape)
print("\n前5行数据预览:")
print(df.head())
print("\n数据基本信息:")
print(df.info())
print("\n各类故障数量统计:")
print(df['故障类型'].value_counts())
运行上面几行代码,你就能对数据有个整体印象。比如,你可能会发现“正常”样本远多于“高能放电”样本,这就是典型的类别不平衡问题。如果直接训练,模型可能会倾向于把所有样本都预测为“正常”,因为这样整体准确率看起来很高,但对少数故障的识别率会惨不忍睹。我们后面会专门处理这个问题。
3. 给数据“洗个澡”:预处理的关键步骤与陷阱
直接从现场采集或文献中获取的原始数据,就像刚从地里挖出来的萝卜,带着泥,不能直接下锅。数据预处理,就是清洗、削皮、切块的过程,直接决定了模型这盘“菜”最终的味道。这一步如果偷懒,后面模型调参调到吐血可能也救不回来。
3.1 缺失值与异常值处理
DGA数据有时会因为检测仪器问题或记录疏漏出现缺失值。简单的删除可能会损失宝贵样本,特别是故障样本本来就少的时候。我常用的策略是,对于数值型的特征气体浓度,如果缺失不多,用同一故障类型下其他样本的浓度中位数来填充,这比用均值更稳健,能抵抗极端值的影响。对于异常值(比如某个气体浓度高得离谱),不能简单删除,因为它可能真的对应一次严重故障!需要结合领域知识判断,或者用箱线图(Boxplot)可视化查看,确认是录入错误还是真实情况。
import matplotlib.pyplot as plt
# 检查缺失值
print("缺失值统计:")
print(df.isnull().sum())
# 假设我们决定用中位数填充‘C2H2’列的缺失值
median_c2h2_by_fault = df.groupby('故障类型')['C2H2'].transform('median')
df['C2H2'].fillna(median_c2h2_by_fault, inplace=True)
# 可视化异常值 - 以氢气H2为例
plt.figure(figsize=(10,6))
df.boxplot(column=['H2'], by='故障类型')
plt.title('不同故障类型下H2浓度分布箱线图')
plt.xticks(rotation=45)
plt.show()
3.2 特征工程:让数据自己“说话”
这是提升模型性能的“魔法”环节。除了直接使用7种气体的绝对浓度,我们还可以构造一些比值特征,这些比值本身就蕴含着传统DGA诊断方法的智慧。例如:
C2H2/C2H4:常用于区分放电和过热。CH4/H2:与过热温度有关。C2H4/C2H6:反映过热的程度。
把这些比值作为新特征加入,等于直接告诉模型一些重要的领域知识,能极大帮助模型学习。此外,还可以考虑计算总烃含量(CH4+C2H2+C2H4+C2H6)、产气速率(如果有多期数据)等。特征工程没有固定答案,需要不断尝试和基于业务理解进行创造。
# 构造比值特征
df['比值_C2H2_C2H4'] = df['C2H2'] / (df['C2H4'] + 1e-5) # 加一个小数防止除零
df['比值_CH4_H2'] = df['CH4'] / (df['H2'] + 1e-5)
df['比值_C2H4_C2H6'] = df['C2H4'] / (df['C2H6'] + 1e-5)
df['总烃'] = df['CH4'] + df['C2H2'] + df['C2H4'] + df['C2H6']
3.3 数据标准化与划分
机器学习模型,特别是基于距离的模型(如SVM、KNN)和神经网络,对特征的尺度非常敏感。氢气浓度可能几百,而乙炔浓度可能只有个位数,这种量级差异会让模型“偏袒”数值大的特征。我们需要进行标准化,把不同特征拉到同一尺度。最常用的是StandardScaler(减去均值,除以标准差)或MinMaxScaler(缩放到[0,1]区间)。这里我常用StandardScaler。
之后,必须将数据划分为训练集和测试集。训练集用于教模型学习,测试集用于评估模型面对从未见过的新数据时的表现,这才能真正反映模型的泛化能力。切记,任何预处理(如标准化)的拟合(fit)操作,只能在训练集上进行,然后用训练集得到的参数去转换(transform)测试集,绝对不能用测试集的信息去“污染”训练过程,否则就是数据泄露,评估结果会过于乐观,没有参考价值。
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
# 假设X是特征,y是标签(故障类型)
X = df.drop('故障类型', axis=1)
y = df['故障类型']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)
# stratify=y 表示按标签分层抽样,保证训练集和测试集中各类别比例一致
# 标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train) # 只在训练集上fit
X_test_scaled = scaler.transform(X_test) # 用训练集的参数转换测试集
4. 模型选择与训练:不止是随机森林
原始文章给出了随机森林的例子,它确实是处理这类表格数据的“万金油”,效果稳定,不易过拟合,还能给出特征重要性。但我们的工具箱里不能只有一把锤子。根据我的经验,可以尝试一个简单的“模型擂台赛”。
4.1 搭建模型擂台
我们快速用几个经典分类器在同一个预处理后的数据上跑一下,用交叉验证看看它们的平均表现。这里我们用cross_val_score。
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_score
import warnings
warnings.filterwarnings('ignore')
models = {
'随机森林': RandomForestClassifier(n_estimators=100, random_state=42),
'梯度提升树': GradientBoostingClassifier(n_estimators=100, random_state=42),
'支持向量机': SVC(kernel='rbf', probability=True, random_state=42),
'K近邻': KNeighborsClassifier(n_neighbors=5)
}
for name, model in models.items():
scores = cross_val_score(model, X_train_scaled, y_train, cv=5, scoring='accuracy')
print(f"{name} 的平均交叉验证准确率: {scores.mean():.4f} (+/- {scores.std()*2:.4f})")
跑完这个擂台赛,你可能会发现随机森林和梯度提升树(比如XGBoost, LightGBM)通常表现最好。SVM在小数据集上可能很强,但对参数和标准化很敏感。KNN简单,但计算慢,且对不相关的特征敏感。
4.2 深入调优随机森林
选定随机森林后,我们不能就用默认参数。调参的目标是找到偏差和方差的最佳平衡点,防止过拟合(在训练集上表现好,测试集差)或欠拟合(两者都差)。关键参数有:
n_estimators:树的数量,越多越好,但计算成本增加,通常100-500足够。max_depth:树的最大深度,控制模型复杂度,防止过拟合。min_samples_split:内部节点再划分所需最小样本数。min_samples_leaf:叶子节点最少样本数。max_features:寻找最佳分割时考虑的特征数。
我们可以用GridSearchCV(网格搜索)或RandomizedSearchCV(随机搜索)来系统性地寻找最优参数组合。这里给出一个网格搜索的例子:
from sklearn.model_selection import GridSearchCV
param_grid = {
'n_estimators': [100, 200, 300],
'max_depth': [10, 20, 30, None],
'min_samples_split': [2, 5, 10],
'min_samples_leaf': [1, 2, 4],
'max_features': ['auto', 'sqrt']
}
rf = RandomForestClassifier(random_state=42, oob_score=True) # oob_score可用于袋外估计
grid_search = GridSearchCV(estimator=rf, param_grid=param_grid, cv=5, n_jobs=-1, scoring='accuracy', verbose=1)
grid_search.fit(X_train_scaled, y_train)
print("最佳参数组合:", grid_search.best_params_)
print("最佳交叉验证分数:", grid_search.best_score_)
# 用最佳参数训练最终模型
best_rf = grid_search.best_estimator_
4.3 应对类别不平衡
如果数据集中“正常”样本远多于“故障”样本,我们需要采取措施。除了之前划分数据时用的stratify,在训练时还可以:
- 类别权重:在RandomForest中设置
class_weight='balanced',让模型更关注少数类。 - 过采样:使用SMOTE等方法,合成少数类样本。
- 欠采样:随机减少多数类样本(慎用,可能丢失信息)。
我通常先尝试设置class_weight,如果效果不佳再考虑SMOTE。
# 使用类别权重
balanced_rf = RandomForestClassifier(n_estimators=200, max_depth=20,
min_samples_leaf=2, class_weight='balanced',
random_state=42, oob_score=True)
balanced_rf.fit(X_train_scaled, y_train)
5. 模型评估与可视化:看懂模型在“想”什么
模型训练好了,不能只看一个总体准确率(Accuracy)就完事,特别是对于不平衡数据。一个把所有样本都预测为“正常”的模型,在正常样本占90%的数据集上准确率也有90%,但这毫无用处。我们需要一套更细致的评估工具。
5.1 全面的评估指标
- 混淆矩阵:最直观,能看出模型在每个类别上具体错成了什么。
- 精确率:在所有被预测为故障A的样本中,真正是故障A的比例。关注的是预测结果的准确性。
- 召回率:在所有真正的故障A样本中,被模型成功找出来的比例。关注的是找出故障的能力。
- F1-Score:精确率和召回率的调和平均数,是两者的综合考量。
- 宏平均 vs 微平均:宏平均对每个类别平等看待,计算指标后再平均;微平均先汇总所有类别的TP、FP等,再计算指标。在不平衡数据中,宏平均更能反映模型对少数类的性能。
from sklearn.metrics import classification_report, confusion_matrix, ConfusionMatrixDisplay
y_pred = best_rf.predict(X_test_scaled)
y_pred_proba = best_rf.predict_proba(X_test_scaled) # 预测概率,用于ROC曲线
print("详细分类报告:")
print(classification_report(y_test, y_pred, target_names=['中低温过热','高温过热','低能放电','高能放电','局部放电','正常']))
# 绘制混淆矩阵
cm = confusion_matrix(y_test, y_pred, labels=best_rf.classes_)
disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=best_rf.classes_)
disp.plot(cmap=plt.cm.Blues)
plt.title('混淆矩阵 - 测试集')
plt.xticks(rotation=45)
plt.show()
5.2 特征重要性可视化
随机森林的一个巨大优势是能评估特征重要性。这不仅是模型可解释性的关键,也能反过来指导我们的特征工程——如果某个构造的比值特征重要性很高,说明它确实有效;如果某个原始气体特征重要性几乎为零,也许可以考虑剔除。
importances = best_rf.feature_importances_
feature_names = X.columns
indices = np.argsort(importances)[::-1] # 按重要性降序排列
plt.figure(figsize=(12,6))
plt.title("随机森林 - 特征重要性排序")
plt.bar(range(len(importances)), importances[indices], align='center')
plt.xticks(range(len(importances)), [feature_names[i] for i in indices], rotation=90)
plt.xlabel('特征')
plt.ylabel('重要性得分')
plt.tight_layout()
plt.show()
5.3 决策过程可视化(可选但有趣)
对于单棵决策树,我们可以用graphviz库把它画出来,看看模型是如何根据气体浓度一步步做出决策的。虽然随机森林是很多树的集合,但观察其中一两棵典型的树,能帮助我们建立直观理解。
from sklearn.tree import export_graphviz
import graphviz
# 选取森林中的第一棵树
single_tree = best_rf.estimators_[0]
dot_data = export_graphviz(single_tree, out_file=None,
feature_names=feature_names,
class_names=['1','2','3','4','5','6'],
filled=True, rounded=True,
special_characters=True,
max_depth=3) # 只显示前3层,否则图太复杂
graph = graphviz.Source(dot_data)
graph.render(filename='tree_view', format='png', cleanup=True) # 保存为图片
# 或者在Jupyter中直接显示: graph
6. 构建可复用的诊断Pipeline与部署思考
到这一步,我们在Jupyter Notebook里已经完成了一个完整的分析闭环。但要让这个模型真正能用起来,我们需要把它封装成一个稳健的、可复用的Pipeline。这个Pipeline应该包含从原始数据输入到故障类型输出的所有步骤。
6.1 使用Scikit-learn的Pipeline
Pipeline可以将数据预处理、特征选择、模型训练等多个步骤捆绑成一个对象,避免数据泄露,也便于保存和加载整个模型。
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
# 构建一个完整的Pipeline
full_pipeline = Pipeline([
('imputer', SimpleImputer(strategy='median')), # 处理缺失值
('scaler', StandardScaler()), # 标准化
('classifier', RandomForestClassifier(n_estimators=200, max_depth=20,
min_samples_leaf=2,
class_weight='balanced',
random_state=42))
])
# 训练整个Pipeline
full_pipeline.fit(X_train, y_train) # 注意这里用未标准化的X_train,Pipeline内部会处理
# 预测新数据
new_dga_data = pd.DataFrame([[50, 120, 5, 80, 40, 500, 3000]], columns=feature_names) # 一行新数据
prediction = full_pipeline.predict(new_dga_data)
prediction_proba = full_pipeline.predict_proba(new_dga_data)
print(f"预测故障类型: {prediction[0]}")
print(f"各类别预测概率: {prediction_proba}")
6.2 模型持久化
训练好的Pipeline可以保存到磁盘,以后需要诊断时直接加载,无需重新训练。
import joblib
# 保存模型
joblib.dump(full_pipeline, 'transformer_fault_diagnosis_pipeline.pkl')
# 加载模型(在另一个程序或未来使用时)
loaded_pipeline = joblib.load('transformer_fault_diagnosis_pipeline.pkl')
result = loaded_pipeline.predict(new_dga_data)
6.3 关于部署的几点思考
把模型从笔记本搬到生产环境,还需要考虑更多:
- 实时性要求:是定期(如每月)批量分析,还是需要接入在线监测系统做实时预警?实时性要求决定了技术架构。
- 结果解释性:不能只输出一个故障代码。最好能附带置信度(预测概率)、主要依据(哪些气体特征贡献最大),甚至给出简单的诊断建议。这能帮助运维人员理解和决策。
- 模型迭代:变压器技术、绝缘材料在变化,模型也需要用新的数据定期重新训练(Retraining),或者采用在线学习(Online Learning)策略进行更新。
- 系统集成:模型可能需要封装成REST API,供现有的设备管理平台调用。这时需要考虑API的性能、并发和安全性。
我自己的项目里,是把训练好的Pipeline打包成一个轻量级的Flask API服务。运维系统上传DGA数据表格,API返回JSON格式的诊断结果、置信度和关键特征提示,效果很不错。这套流程下来,你会发现,机器学习并不是一个黑盒子,而是一个需要数据、算法、领域知识和工程化能力共同驱动的系统。它不能替代专家,但它能让专家的工作更高效、更精准。希望这份结合了代码和实战经验的指南,能帮你少走弯路,快速搭建起属于自己的变压器智能诊断系统。
214



被折叠的 条评论
为什么被折叠?



