python xgboost分析婚外情几率

最新推荐文章于 2025-06-22 22:16:36 发布

masbbx123

最新推荐文章于 2025-06-22 22:16:36 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： python xgboost

本文链接：https://blog.youkuaiyun.com/masbbx123/article/details/79278503

机器学习专栏收录该内容

16 篇文章

订阅专栏

本文通过一个关于婚外情频率预测的实际案例，对比了XGBoost与随机森林两种机器学习模型的表现。数据集来源于1969年的一个心理学调查，包含参与者的多种个人信息。通过对数据预处理和模型训练，得出两者在均方误差和AUC上的具体结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近刚刚学习到xgboost，据说效果杠杠的，神器啊
这里是一个使用的小例子：
1 我用的是Anaconda，先安装xgboost
2 数据集：（课程作业，我也不知道这个数据集哪里来的）
数据集Affairs.csv，取自于1969年《今日心理》（Psychology Today）所做的一个非常有代表性的调查，而Greene（2003）和Fair（1978）都对它进行过分析。该数据从601 个参与者身上收集了9个变量，包括一年来婚外私通的频率以及参与者性别、年龄、婚龄、是否有小孩、宗教信仰程度（5分制，1分表示反对，5分表示非常信仰）、学历、职业（逆向编号的戈登7种分类），还有对婚姻的自我评分（5分制，1表示非常不幸福，5表示非常幸福）
3 先使用随机森林测试性能，这样和xgboost好对比性能

#coding=utf-8
import pandas as pd
from pandas import Series,DataFrame 
import random
import numpy as np
import time
from datetime import date
import datetime as dt
from numpy import nan as NA
from sklearn.tree import DecisionTreeRegressor  
from sklearn.ensemble import RandomForestRegressor  
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.decomposition import PCA  
from sklearn.linear_model import LogisticRegression

from sklearn import metrics
from sklearn.metrics import auc
from sklearn.preprocessing import StandardScaler

import matplotlib.pyplot as plt  

import warnings
warnings.filterwarnings("ignore")

#读取数据
gdata = pd.read_csv("Affairs.csv",header=0)

print(gdata.shape)#观察数据情况
print(gdata.head(5))

gdata.isnull().any()#查看缺失值，没有缺失值，非常OK！

#将字符串全部变为数值型变量
gdata.gender[gdata['gender']=="male"] = 0
gdata.gender[gdata['gender']=="female"] = 1

gdata.children[gdata['children']=="no"] = 0
gdata.children[gdata['children']=="yes"] = 1

#为了和xgboost比较，将标签修改为0、1
gdata.rating[gdata['rating']<=3] = 0
gdata.rating[gdata['rating']>3] = 1

#随机森林回归
Rating = gdata['rating'].values
Feature = gdata[['affairs','gender','age','yearsmarried','children','religiousness','education','occupation']].values
rf = RandomForestRegressor()
rf.fit(Feature,Rating)#进行模型的训练  
predict = rf.predict(Feature)

#均方误差 MAD
def MAD(target, predictions):
    squared_deviation = np.power(target - predictions, 2)
    return np.mean(squared_deviation)
print( MAD(Rating, predict) )

fpr,tpr,thresholds = metrics.roc_curve(Rating, predict)
AUC = metrics.auc(fpr, tpr)
print(AUC)

最终
MAD：0.0424662760667
AUC测试：0.995788061704

xgboost测试代码：

dtrain = xgb.DMatrix( Feature, label=label)
dtest = dtrain    

param = {'bst:max_depth':2, 'bst:eta':1, 'silent':1, 'objective':'binary:logistic' }    
param['nthread'] = 4    
param['eval_metric'] = 'auc'    

evallist  = [(dtest,'eval'), (dtrain,'train')]    

num_round = 200
bst = xgb.train( param, dtrain, num_round, evallist )

最终结果：
[196] eval-auc:0.998042 train-auc:0.998042
[197] eval-auc:0.998042 train-auc:0.998042
[198] eval-auc:0.998042 train-auc:0.998042
[199] eval-auc:0.998028 train-auc:0.998028

效果上没看出xgboost的优势，可能是数据太少了，随便什么方法结果都很好