【机器学习入门笔记】第十一篇-逻辑回归

最新推荐文章于 2024-08-28 20:38:26 发布

细细东风能找到好工作

最新推荐文章于 2024-08-28 20:38:26 发布

阅读量528

点赞数

文章标签：大数据

本文链接：https://blog.youkuaiyun.com/Y809714652/article/details/125816707

版权

该博客介绍了如何利用逻辑回归进行二分类任务，以乳腺癌数据集为例。首先，数据预处理包括填充缺失值和特征缩放。接着，使用sklearn库的LogisticRegression模型进行训练，并展示模型的权重和偏置。最后，通过ROC曲线和AUC指标评估模型性能，展示了模型在区分良性与恶性肿瘤的预测能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

逻辑回归的应用场景：

广告点击率，是否为垃圾邮件，是否患病，金融诈骗，虚假账号--->都是二分类问题

线性回归的输出就是逻辑回归的输出

----------------------------------------------------------------------------------------------------------------------

激活函数
sigmoid函数：将线性回归的输出映射到激活函数上，输出结果[0,1]区间中的一个概率值，与阈值进行判断，默认为0.5阈值。

from sklearn.linear_model import LogisticRegression, SGDClassifier
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report, roc_auc_score, roc_curve
import matplotlib.pyplot as plt

#1.读取数据
column_name = ['Sample code number', 'Clump Thickness',
               'Uniformity of Cell Size', 'Uniformity of Cell Shape', 'Marginal Adhesion',
               'Single Epithelial Cell Size',
               'Bare Nuclei', 'Bland Chromatin',
               'Normal Nucleoli', 'Mitoses', 'Class']
    # # 网上直接下载
# path = "http://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data"
# data = pd.read_csv(path, names=column_name)
data = pd.read_csv("breast-cancer-wisconsin.data", names=column_name)



#2.缺失值处理
#1）替换np.nan
data = data.replace(to_replace="?",value=np.nan)

#2)删除缺失样本
data.dropna(inplace=True)


data.isnull().any()  #不存在缺失值


#筛选特征值和目标值
x = data.iloc[:,1:-1]
y = data["Class"]


# 3.划分数据集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x,y);



# 4.特征工程
from sklearn.preprocessing import StandardScaler
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)


from sklearn.linear_model import LogisticRegression, SGDClassifier
# 5.预估器流程
estimator = LogisticRegression()  # 默认参数
estimator.fit(x_train, y_train)
print("逻辑回归_权重系数为: ", estimator.coef_)
print("逻辑回归_偏置为:", estimator.intercept_)


# 6.模型评估
y_predict = estimator.predict(x_test)
print("逻辑回归_预测结果", y_predict)
print("逻辑回归_预测结果对比:", y_test == y_predict)
score = estimator.score(x_test, y_test)
print("准确率为:", score)
# 2是良性的 4是恶性的


Score = classification_report(y_test, y_predict, labels=[2, 4],
target_names=["良性", "恶性"])
print("查看精确率,召回率,F1-score\n", Score)

  # 需要转换为0,1表示
y_true = np.where(y_test > 3, 1, 0)  # 表示大于3为1,反之为0(class值为2和4)
return_value = roc_auc_score(y_true, y_predict)
print("ROC曲线和AUC返回值为(三角形面积)", return_value)

fpr, tpr, thresholds = roc_curve(y_true, y_predict)
plt.plot(fpr, tpr)
plt.show()

ROC曲线和AUC指标(样本分类不均衡的情况下,可以使用这种方法)
AUC = 0.5 是瞎猜模型
AUC = 1 是最好的模型
AUC < 0.5 属于反向毒奶