Python-ML(第十六周作业)

最新推荐文章于 2024-01-09 07:17:14 发布
原创 最新推荐文章于 2024-01-09 07:17:14 发布 · 359 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文通过实验对比了三种常见机器学习算法：高斯朴素贝叶斯、支持向量机和服务于不同参数配置的随机森林，在分类任务上的表现。采用10折交叉验证的方式评估算法准确性、F1分数和AUC-ROC等指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

题目

Assignment
Steps
1 Create a classification dataset (n samples ! 1000, n features ! 10)
2 Split the dataset using 10-fold cross validation
3 Train the algorithms
I GaussianNB
I SVC (possible C values [1e-02, 1e-01, 1e00, 1e01, 1e02], RBF kernel)
I RandomForestClassifier (possible n estimators values [10, 100, 1000])
4 Evaluate the cross-validated performance
I Accuracy
I F1-score
I AUC ROC
5 Write a short report summarizing the methodology and the results

代码

from sklearn import datasets, cross_validation, metrics
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier

datasets = datasets.make_classification(n_samples=1000, n_features=10)
kf = cross_validation.KFold(len(datasets[0]), n_folds=10, shuffle=True)
clf = GaussianNB()
for train_index, test_index in kf:
    X_train, y_train = datasets[0][train_index], datasets[1][train_index]
    X_test, y_test = datasets[0][test_index], datasets[1][test_index]
    clf.fit(X_train, y_train)
    pred = clf.predict(X_test)
    acc = metrics.accuracy_score(y_test, pred)
    f1 = metrics.f1_score(y_test, pred)
    auc = metrics.roc_auc_score(y_test, pred)
    print("Naive Bayes")
    print("acc:", acc, "f1:", f1, "auc", auc)

    for C_data in [1e-02, 1e-01, 1e00, 1e01, 1e02]:
        clf = SVC(C=C_data, kernel='rbf', gamma=0.1)
        clf.fit(X_train, y_train)
        pred = clf.predict(X_test)
        acc = metrics.accuracy_score(y_test, pred)
        f1 = metrics.f1_score(y_test, pred)
        auc = metrics.roc_auc_score(y_test, pred)
        print("SVM C_data",C_data)
        print("acc:", acc, "f1:", f1, "auc", auc)

    for n_data in [10,100,1000]:
        clf=RandomForestClassifier(n_estimators=n_data)
        clf.fit(X_train,y_train)
        pred=clf.predict(X_test)
        acc = metrics.accuracy_score(y_test, pred)
        f1 = metrics.f1_score(y_test, pred)
        auc = metrics.roc_auc_score(y_test, pred)
        print("Random Forest n_data", n_data)
        print("acc:", acc, "f1:", f1, "auc", auc)

结果

Naive Bayes
acc: 0.93 f1: 0.9306930693069307 auc 0.930172068827531
SVM C_data 0.01
acc: 0.91 f1: 0.9032258064516129 auc 0.9117647058823529
SVM C_data 0.1
acc: 0.96 f1: 0.9591836734693878 auc 0.9607843137254901
SVM C_data 1.0
acc: 0.95 f1: 0.9494949494949494 auc 0.950580232092837
SVM C_data 10.0
acc: 0.94 f1: 0.9411764705882353 auc 0.9399759903961585
SVM C_data 100.0
acc: 0.92 f1: 0.9215686274509803 auc 0.9199679871948779
Random Forest n_data 10
acc: 0.97 f1: 0.9696969696969697 auc 0.9705882352941176
Random Forest n_data 100
acc: 0.98 f1: 0.98 auc 0.9803921568627452
Random Forest n_data 1000
acc: 0.97 f1: 0.9696969696969697 auc 0.9705882352941176
Naive Bayes
acc: 0.96 f1: 0.96 auc 0.96
SVM C_data 0.01
acc: 0.93 f1: 0.9263157894736842 auc 0.9299999999999999
SVM C_data 0.1
acc: 0.95 f1: 0.9484536082474226 auc 0.95
SVM C_data 1.0
acc: 0.94 f1: 0.9375 auc 0.94
SVM C_data 10.0
acc: 0.9 f1: 0.8936170212765958 auc 0.8999999999999999
SVM C_data 100.0
acc: 0.88 f1: 0.8749999999999999 auc 0.8799999999999999
Random Forest n_data 10
acc: 0.97 f1: 0.9702970297029702 auc 0.9699999999999999
Random Forest n_data 100
acc: 0.96 f1: 0.96 auc 0.96
Random Forest n_data 1000
acc: 0.96 f1: 0.96 auc 0.96
Naive Bayes
acc: 0.99 f1: 0.9894736842105264 auc 0.9895833333333333
SVM C_data 0.01
acc: 0.89 f1: 0.8910891089108911 auc 0.891826923076923
SVM C_data 0.1
acc: 0.97 f1: 0.967741935483871 auc 0.96875
SVM C_data 1.0
acc: 0.94 f1: 0.9347826086956522 auc 0.938301282051282
SVM C_data 10.0
acc: 0.94 f1: 0.9361702127659574 auc 0.9391025641025641
SVM C_data 100.0
acc: 0.93 f1: 0.924731182795699 auc 0.9286858974358976
Random Forest n_data 10
acc: 0.98 f1: 0.9787234042553191 auc 0.9791666666666667
Random Forest n_data 100
acc: 0.99 f1: 0.9894736842105264 auc 0.9895833333333333
Random Forest n_data 1000
acc: 0.98 f1: 0.9787234042553191 auc 0.9791666666666667
Naive Bayes
acc: 0.97 f1: 0.9719626168224299 auc 0.9727272727272727
SVM C_data 0.01
acc: 0.88 f1: 0.8775510204081634 auc 0.8909090909090909
SVM C_data 0.1
acc: 0.95 f1: 0.9532710280373831 auc 0.9525252525252524
SVM C_data 1.0
acc: 0.96 f1: 0.9629629629629629 auc 0.9616161616161615
SVM C_data 10.0
acc: 0.96 f1: 0.9629629629629629 auc 0.9616161616161615
SVM C_data 100.0
acc: 0.91 f1: 0.9142857142857144 auc 0.9141414141414141
Random Forest n_data 10
acc: 0.97 f1: 0.9719626168224299 auc 0.9727272727272727
Random Forest n_data 100
acc: 0.97 f1: 0.9719626168224299 auc 0.9727272727272727
Random Forest n_data 1000
acc: 0.97 f1: 0.9719626168224299 auc 0.9727272727272727
Naive Bayes
acc: 0.97 f1: 0.967741935483871 auc 0.96875
SVM C_data 0.01
acc: 0.89 f1: 0.8910891089108911 auc 0.891826923076923
SVM C_data 0.1
acc: 0.95 f1: 0.945054945054945 auc 0.9479166666666667
SVM C_data 1.0
acc: 0.95 f1: 0.946236559139785 auc 0.9487179487179486
SVM C_data 10.0
acc: 0.95 f1: 0.946236559139785 auc 0.9487179487179486
SVM C_data 100.0
acc: 0.93 f1: 0.924731182795699 auc 0.9286858974358976
Random Forest n_data 10
acc: 0.97 f1: 0.967741935483871 auc 0.96875
Random Forest n_data 100
acc: 0.97 f1: 0.967741935483871 auc 0.96875
Random Forest n_data 1000
acc: 0.97 f1: 0.967741935483871 auc 0.96875
Naive Bayes
acc: 0.99 f1: 0.9887640449438202 auc 0.9888888888888889
SVM C_data 0.01
acc: 0.88 f1: 0.8800000000000001 auc 0.888888888888889
SVM C_data 0.1
acc: 0.95 f1: 0.9411764705882353 auc 0.9444444444444444
SVM C_data 1.0
acc: 0.95 f1: 0.9425287356321839 auc 0.9464646464646465
SVM C_data 10.0
acc: 0.97 f1: 0.967032967032967 auc 0.9707070707070707
SVM C_data 100.0
acc: 0.87 f1: 0.853932584269663 auc 0.8676767676767676
Random Forest n_data 10
acc: 0.99 f1: 0.9887640449438202 auc 0.9888888888888889
Random Forest n_data 100
acc: 0.97 f1: 0.9655172413793104 auc 0.9666666666666667
Random Forest n_data 1000
acc: 0.99 f1: 0.9887640449438202 auc 0.9888888888888889
Naive Bayes
acc: 0.97 f1: 0.968421052631579 auc 0.9695512820512822
SVM C_data 0.01
acc: 0.92 f1: 0.9183673469387755 auc 0.920673076923077
SVM C_data 0.1
acc: 0.92 f1: 0.9111111111111111 auc 0.9174679487179487
SVM C_data 1.0
acc: 0.96 f1: 0.9574468085106383 auc 0.9591346153846154
SVM C_data 10.0
acc: 0.95 f1: 0.9484536082474228 auc 0.9503205128205129
SVM C_data 100.0
acc: 0.86 f1: 0.851063829787234 auc 0.858974358974359
Random Forest n_data 10
acc: 0.97 f1: 0.968421052631579 auc 0.9695512820512822
Random Forest n_data 100
acc: 0.97 f1: 0.968421052631579 auc 0.9695512820512822
Random Forest n_data 1000
acc: 0.97 f1: 0.968421052631579 auc 0.9695512820512822
Naive Bayes
acc: 0.97 f1: 0.970873786407767 auc 0.9703525641025642
SVM C_data 0.01
acc: 0.88 f1: 0.8695652173913044 auc 0.8846153846153846
SVM C_data 0.1
acc: 0.96 f1: 0.9607843137254902 auc 0.9607371794871795
SVM C_data 1.0
acc: 0.97 f1: 0.970873786407767 auc 0.9703525641025642
SVM C_data 10.0
acc: 0.95 f1: 0.9523809523809524 auc 0.9495192307692308
SVM C_data 100.0
acc: 0.9 f1: 0.9056603773584906 auc 0.8990384615384616
Random Forest n_data 10
acc: 0.97 f1: 0.970873786407767 auc 0.9703525641025642
Random Forest n_data 100
acc: 0.97 f1: 0.970873786407767 auc 0.9703525641025642
Random Forest n_data 1000
acc: 0.97 f1: 0.970873786407767 auc 0.9703525641025642
Naive Bayes
acc: 0.96 f1: 0.96 auc 0.96
SVM C_data 0.01
acc: 0.94 f1: 0.9375 auc 0.94
SVM C_data 0.1
acc: 0.94 f1: 0.9375 auc 0.94
SVM C_data 1.0
acc: 0.95 f1: 0.9484536082474226 auc 0.95
SVM C_data 10.0
acc: 0.95 f1: 0.9494949494949495 auc 0.95
SVM C_data 100.0
acc: 0.89 f1: 0.8952380952380952 auc 0.89
Random Forest n_data 10
acc: 0.94 f1: 0.94 auc 0.94
Random Forest n_data 100
acc: 0.96 f1: 0.96 auc 0.96
Random Forest n_data 1000
acc: 0.95 f1: 0.9504950495049505 auc 0.95
Naive Bayes
acc: 0.97 f1: 0.9714285714285713 auc 0.9704937775993576
SVM C_data 0.01
acc: 0.84 f1: 0.8222222222222222 auc 0.8490566037735849
SVM C_data 0.1
acc: 0.94 f1: 0.9400000000000001 auc 0.9433962264150944
SVM C_data 1.0
acc: 0.92 f1: 0.9199999999999999 auc 0.9233239662786029
SVM C_data 10.0
acc: 0.9 f1: 0.9019607843137256 auc 0.9020473705339221
SVM C_data 100.0
acc: 0.91 f1: 0.9090909090909092 auc 0.9138900040144521
Random Forest n_data 10
acc: 0.97 f1: 0.9714285714285713 auc 0.9704937775993576
Random Forest n_data 100
acc: 0.96 f1: 0.9615384615384616 auc 0.9610598153352067
Random Forest n_data 1000
acc: 0.97 f1: 0.9714285714285713 auc 0.9704937775993576

Process finished with exit code 0

分析

  • 随机森林算法非常优秀,准确率一般比SVC和GaussianNB要准确
  • SVC的惩罚系数设置,比较低时容易过拟合降低准确率,比较高时欠拟合也容易出现准确率低的情况
[Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发（K-Means、BIRCH、树状聚类、MeanShift）
杨秀璋的专栏
07-06 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
《Python星球日记》 第96天：端到端 AI 工程化（综合项目）
最新发布
Code_流苏：在代码中寻诗意，在实践中觅真知
05-19 950
《Python星球日记》 第96天：端到端 AI 工程化（综合项目），在我们旅程的最后一天，让我们把前面95天所学的知识融会贯通，通过构建一个完整的端到端AI工程化项目，来巩固和应用我们的技能。这篇文章不仅是对前面学习内容的总结，更是对实际AI项目开发全流程的系统展示。
Python-MLBox一个强大的自动化机器学习python库
08-11
MLBox 一个强大的自动化机器学习python库
Python ML
LJ的博客
10-12 478
决策树（Decision Tree）：得到有终止块的流程图 前言： 信息熵的来源，1是概率的单调减函数；2是对于相互独立的随机变量，同时观察两个变量的信息量和分别观察的结果相同，即h(x+y) = h(x) + h(y)，因此设计了h = -log(P(x))，而这个对数的底通常是2，《数学之美》上认为是一般的判断规律是二分法的缘故。进一步，一个事件总的信息量就是每一种可能的情况的信息量乘以它们发...
python周报第十六周
dengzhugen4499的博客
08-23 151
0.本周知识点预览 DOM jQuery 1.DOM 1.查找元素 1.直接查找() ###根据ID获取一个标签 document.getElementById ###根据name属性获取标签集合 document.getElementsByName ###根据class属性获取标签集合 document.getElement...
Python-ML库简介
weixin_38315109的博客
01-09 673
NumPy（Numerical Python的简称）是Python的一个开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表结构要高效的多，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。总的来说，NumPy是Python中科学计算的基础软件包，广泛应用于数据分析、机器学习、科学计算等领域。
python_ML之基础知识
柠檬黄先生的博客
03-23 1716
python中使用numpy进行矩阵运算的常用操作： 参考这篇 文件导入的绝对路径和相对路径： 参考这篇 print array时array中间是省略号没有输出全部的解决方法： 参考这篇 Python跳过第一行读取文件内容: 参考这篇 注意里边的d0_readline()是自己要写的 比如可以写 linearr=line.split(“,”) #如果需要把csv文件用逗号分割 成每...
图像的均方误差的matlab代码-ML_kNN:ML_kNN
05-22
机器学习第一次作业 机器学习平台python和matlab的熟悉 1 问题描述 1 用python或者matlab编写一个KNN分类器 训练集为semeion_train.csv 测试集为semeion_test.csv 计算在测试集上的错误率（k = 1 3 5 7） 2 选做 在...
OpenCV计算机视觉基础教程(Python版)试题及答案.doc
06-11
2. 在OpenCV中，提供机器学习功能的模块是`ml`。这个模块包含了各种机器学习算法，如SVM（支持向量机）、KNN（K最近邻）等。 3. OpenCV 主要使用C/C++语言实现，但提供了Python接口，使得在Python中使用OpenCV变得...
斯坦福ML课程——python转写(Week2—课程作业ex1_1)
wangzhihao_2015的博客
11-16 348
利用python完成课程作业ex1的第一部分，第一部分的要求如下： In this part of this exercise, you will implement linear regression with onevariable to predict prots for a food truck. Suppose you are the CEO of arestaurant franch...
第十六周个人作业
weixin_30639719的博客
12-28 127
1.估计这个任务需要多长时间：8天 2.需求分析： 作为一个排球爱好者我希望知道每场比赛的得分，以便掌握比赛的赛程。 3.设计文档： 根据需求分析可知，此程序需要展示出比赛的详细结果，精确到局比分。 4.设计复审： 增加了搜索功能。 5.代码规范 根据Visual Studio 2010规范去写。 5.具体设计: 6.具体编码 7.运...
Python之ML--计算机学习数据的能力
weixin_30471561的博客
03-14 151
Python之ML–计算机学习数据的能力 主要知识点： 机器学习的一般概念 机器学习方法和三种类型和基本术语 构建机器学习系统所需的模块 一.机器学习的三种不同方法 介绍三种不同类型的机器学习方法：监督学习(supervised learning),无监督学习(unsupervised learning)和强化学习(reinforce...
【Python-ML】SKlearn库特征抽取-LDA
医疗影像检索
01-18 1901
# -*- coding: utf-8 -*- ''' Created on 2018年1月18日 @author: Jason.F @summary: 特征抽取-LDA方法，监督、分类 ''' import pandas as pd import numpy as np from sklearn.cross_validation import train_test_split from skle
第十五周，sklearn
qq_36573673的博客
06-18 354
Create a classification dataset (n samples ! 1000, n features ! 10) Split the dataset using 10-fold cross validation Train the algorithms GaussianNB SVC (possible C values [1e-02, 1e-0...
【Python-ML】SKlearn库特征选择-随机森林方法
热门推荐
医疗影像检索
01-17 1万+
# -*- coding: utf-8 -*- ''' Created on 2018年1月17日 @author: Jason.F @summary: Scikit-Learn库随机森林-特征选择 ''' import pandas as pd import numpy as np from sklearn.cross_validation import train_test_split fro
Python&ML
不知道起什么名字
06-09 1049
https://mlnote.wordpress.com/2015/12/16/python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5%E4%B8%8Ekaggle%E5%AE%9E%E6%88%98-machine-learning-for-kaggle-competition-in-python/   Author:
Python之ML--数据预处理
V_lq6h的博客
03-15 1663
Python之ML–数据预处理 机器学习算法最终学习结果的优劣取决于两个主要因素：数据的质量和数据中蕴含的有用信息的数量.因此,在将数据集应用于学习算法之前,对其进行检验及预处理是至关重要的 主要知识点如下： 数据集中缺少数据的删除和填充 数据格式化 模型格式化 模型构建中的特征选择 一.缺少数据的处理 from IPython.display import Image 我们见到的缺失值是...
【Python-ML】自适应线性神经网络(Adaline)
医疗影像检索
12-21 5613
# -*- coding: utf-8 -*- ''' Created on 2017年12月21日 @author: Jason.F @summary: 自适应线性神经网络学习算法 ''' import numpy as np import time import matplotlib.pyplot as plt import pandas as pd class AdalineGD(obj
sklearn习题
homework4
06-19 370
Steps 1 Create a classification dataset (n samples ! 1000, n features ! 10) 2 Split the dataset using 10-fold cross validation 3 Train the algorithms I GaussianNB I SVC (possible C values [1e-02,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值