xgboost feature_names mismatch处理方法

本文介绍了使用XGBoost模型预测时遇到ValueError: feature_namesmismatch的问题及两种解决方法。一种是设置validate_features参数为False,另一种是确保预测数据与训练数据的特征名称一致。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

xgboost feature_names mismatch的处理方法

1.现象描述

采用xgboost对数据进行训练,得到可以进行推理的模型保存为xgb.pkl,然后对序列化的模型进行加载,对新的数据进行预测出现ValueError: feature_names mismatch。

2.feature_names mismatch出现的原因

原因1: 经过对新的预测数据进行分析发现:在我的预测数据中存在大量为0的值,这些值使预测矩阵变成了稀疏矩阵,而xgboost在预测的时候不接受稀疏矩阵的的输入,才会出现上述的现象。
原因2: 新的预测数据和建模时的数据feature_names不一致造成上述现象。

3.解决方法

# 针对原因1的解决方法
import joblib
import pandas as pd
data = pd.read_csv('predict_data.csv')
model = joblib.load('xgb.pkl')
pred = model.predict(data, validate_features=False)
# 针对原因2的解决方法
import joblib
import pandas as pd
data = pd.read_csv('predict_data.csv')
model = joblib.load('xgb.pkl')
columns_builds = model.get_booster().feature_names
data = data[columns_builds]
pred = model.predict(data)

在其他的文章中也出现了将新的预测数据进行转化等处理方式,如使用toarray()和as_matrix(),但是在我的数据中均不起作用,具体的处理方式还要根据数据情况决定。

转载请注明出处!

出现报错import joblib import xgboost as xgb import torch import numpy as np import pandas as pd from sklearn.preprocessing import StandardScaler # 定义混合模型类(XGBoost+DNN) class HybridModel: def __init__(self, xgb_model, dnn_model): self.xgb_model = xgb_model self.dnn_model = dnn_model def predict_proba(self, X): # 融合XGBoost和DNN的预测概率(简单加权) xgb_prob = self.xgb_model.predict_proba(X)[:, 1] dnn_prob = self.dnn_model(torch.tensor(X, dtype=torch.float32)).detach().numpy().flatten() return (xgb_prob * 0.6 + dnn_prob * 0.4).item() # 权重参考模型性能调整 # 定义DNN模型结构(需与训练时一致) class DNNModel(torch.nn.Module): def __init__(self, input_dim): super().__init__() self.fc1 = torch.nn.Linear(input_dim, 64) self.relu1 = torch.nn.ReLU() self.dropout = torch.nn.Dropout(0.3) self.fc2 = torch.nn.Linear(64, 32) self.relu2 = torch.nn.ReLU() self.fc3 = torch.nn.Linear(32, 1) self.sigmoid = torch.nn.Sigmoid() def forward(self, x): x = self.fc1(x) x = self.relu1(x) x = self.dropout(x) x = self.fc2(x) x = self.relu2(x) x = self.fc3(x) x = self.sigmoid(x) return x # 综合预测类 class CombinedDiseasePredictor: def __init__(self): # 加载预处理组件 self.stroke_scaler = joblib.load('问题三/stroke_scaler.pkl') self.heart_scaler = joblib.load('问题三/heart_scaler.pkl') self.cirrhosis_scaler = joblib.load('问题三/cirrhosis_scaler.pkl') # 加载特征列表 self.stroke_features = joblib.load('问题三/stroke_features.pkl') self.heart_features = joblib.load('问题三/heart_features.pkl') self.cirrhosis_features = joblib.load('问题三/cirrhosis_features.pkl') # 加载模型 self.stroke_model = self._load_model('stroke') self.heart_model = self._load_model('heart') self.cirrhosis_model = self._load_model('cirrhosis') def _load_model(self, disease): # 加载XGBoost模型 xgb_model = xgb.XGBClassifier() xgb_model.load_model(f'问题三/{disease}_xgb_model.json') # 加载DNN模型 input_dim = len(joblib.load(f'问题三/{disease}_features.pkl')) dnn_model = DNNModel(input_dim) dnn_model.load_state_dict(torch.load(f'问题三/best_{disease}_model.pth', map_location='cpu')) dnn_model.eval() return HybridModel(xgb_model, dnn_model) def predict_single(self, data): # 计算单一疾病概率(参考文档中AUC验证的模型性能) X_stroke = self.stroke_scaler.transform(data[self.stroke_features].values.reshape(1, -1)) X_heart = self.heart_scaler.transform(data[self.heart_features].values.reshape(1, -1)) X_cirrhosis = self.cirrhosis_scaler.transform(data[self.cirrhosis_features].values.reshape(1, -1)) p_stroke = self.stroke_model.predict_proba(X_stroke) p_heart = self.heart_model.predict_proba(X_heart) p_cirrhosis = self.cirrhosis_model.predict_proba(X_cirrhosis) return p_stroke, p_heart, p_cirrhosis def predict_combined(self, data): p1, p2, p3 = self.predict_single(data) # 联合概率计算(参考文档中共病特征与高/低风险概率) joint_probs = { 'stroke&heart': min(p1 * p2 * 1.15, 1.0), # 参考高风险共病率91.3%调整系数 'stroke&cirrhosis': min(p1 * p3 * 1.05, 1.0), 'heart&cirrhosis': min(p2 * p3 * 1.1, 1.0), 'all_three': min(p1 * p2 * p3 * 1.3, 1.0) # 参考三种疾病共病率84.2%调整系数 } return { 'single': {'stroke': p1, 'heart': p2, 'cirrhosis': p3}, 'combined': joint_probs } # 示例使用 if __name__ == '__main__': # 加载特征列表 stroke_features = joblib.load('问题三/stroke_features.pkl') heart_features = joblib.load('问题三/heart_features.pkl') cirrhosis_features = joblib.load('问题三/cirrhosis_features.pkl') # 合并所有特征 all_features = set(stroke_features + heart_features + cirrhosis_features) # 初始化示例数据 sample_data_dict = {} for feature in all_features: # 这里可以根据实际情况设置特征值,暂时用 0 填充 sample_data_dict[feature] = [0] # 创建示例数据 DataFrame sample_data = pd.DataFrame(sample_data_dict) predictor = CombinedDiseasePredictor() result = predictor.predict_combined(sample_data) print("预测结果:", result)
最新发布
07-13
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值