机器学习 day01(三)

最新推荐文章于 2024-04-22 16:55:43 发布
原创 最新推荐文章于 2024-04-22 16:55:43 发布 · 746 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍使用KNN算法预测年收入是否超过50K美元的过程，包括数据预处理、特征量化、模型训练、性能评估及调优策略，如参数调整、数据归一化、标准化和正则化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

练习 2 预测年收入是否大于50K美元

读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50
在这里插入图片描述

1. 读取文件,查看相应的信息

在这里插入图片描述

2. 将特征和标签分离

取特征 : 用切片方式获取 对于DataFrame,不能用属性切片,只能用索引切片 第0个维度不变,第1个从开头切到最后一个(前闭后开)
取标签 : 取 salary
在这里插入图片描述

查看一下 特征data 和 标签target
在这里插入图片描述
data总共有32561条数据,每条数据14个特征
target 只有 <=50k 和 >50k

那现在是不是就可以用knn算法去训练了呢?
在这里插入图片描述
哦豁!报错了
在这里插入图片描述
错误是没有办法把string类型转换成float类型
sklearn中，和数学运算有关算法，不能传字符串的
但是这些特征data中,含有大量的字符串,怎么解决这个问题?
对字符串属性进行量化,量化成数字

3. 对字符串属性进行量化

  1. 查看一下都有哪些字符串
    在这里插入图片描述
  1. 将这些字符串用数字取代
    用序号(下标)去取代
    在这里插入图片描述
    需要用到映射
    定义一个函数,传入字符串,返回序号
    在这里插入图片描述
    使用map()函数进行映射
    在这里插入图片描述
    可以看到workclass这一列的字符串就用相应的数字取代了
  1. 将其他需要量化的字符串进行量化
    定义其他需要量化的特征,使用同样的方法
    在这里插入图片描述
    可以看到,都变成了数字类型,可以参与到运算中了

4. 分离测试集与训练集

在这里插入图片描述

5. 创建模型训练

在这里插入图片描述

6. 性能评测

在这里插入图片描述
经验性能和泛化性能都不怎么好

这里引进一个概念

【性能检测指标】

案例：

真正的标签: 1 0 0 1 1 1 1 1 1 1 0 1
预测的标签: 1 0 1 1 1 1 1 1 0 1 0 1

1、准确率：预测正确的数据占总数据的比例 ，上例中准确率 10/12 = 5/6

2、精确率（查正率）：表示每一个类别预测准确的标签数占预测为该类别的标签数的比例

    上例中：  类别“1”，预测为1的有9个，其中正确的有8个 类别“1”的查正率为：8/9
             类别“0”，预测为0的有3个，其中正确的有2个，类别“0”的查正率为：2/3

3、召回率（查全率）：表示每一个类别预测正确的标签数占真正为该标签的数量的比例

    上例中：类别“1”，真实为1的有9个，预测为1且正确的有8个，类别“1”的查全率为：8/9
           类别“0”，真实为0的有3，预测为0缺正确的有2个，0个查全率为：2/3

4、F1值：查正率和查全率的调和平均数

    F1_0 = 1/(1/0的查正率 + 1/0的查全率) = 1/(3/2 + 3/2) = 1/3

所以,如果一个模型,查正率和查全率差别比较大的话,说明这个模型并不怎么好

7. 预测

在这里插入图片描述
由于数据太多,不好对比
sklearn中 有一个专门针对查正率和查全率等一系列的指标的模型

导入相关函数

from sklearn.metrics import classification_report

classification_report的英文意思是分类模型的检测报告

需要传两个参数
y_pred=y_ 预测的y值
y_true=y_test 真实的y值
在这里插入图片描述
查看打印的内容,<=50k的整体性能还好,但是>50k的性能就很低了,
这是因为<=50k的和>50k的样本支持率差距太大,一个5001,一个1512,
所以这个模型性能不行,就需要进行模型的调优

8. 模型调优

8.1、从算法方面来调优
  1. 求出k的取值范围
    在这里插入图片描述
    x_train有26048条数据
    开平方求出k的取值范围
    在这里插入图片描述
  1. 用网格搜索进行参数的调优
    在这里插入图片描述
    由于当前计算条件有限制我无法对161个参数全部调优，从161中随机取出20个来调（实际工作中建议全调）
    对上面的knn算法模型进行调优,训练的过程中耗时可能会有点长,因为数据很多,计算量大
    在这里插入图片描述
    如果全调,修改这一步即可,n_jobs=-1表示有多少给就调优多少个(取到最后一个)
    在这里插入图片描述
  1. 查看最佳算法的信息
    在这里插入图片描述
  1. 评测最优算法在测试集上的泛化能力
    在这里插入图片描述
    可以发现,泛化能力对比以前的有所增强,虽然不是很多
8.2、从数据方面来调优

通过观察数据集，我们发现某些属性的值特别大，而某些属性的值非常小，这样的话，比较小的那些属性对于整个模型训练起到的作用微乎其微，而数据特别大的那些属性反倒会主导整个预测结果，容易造成模型的泛化能力不足，从而造成欠拟合现象

为了避免这种情况，我们要尽量的是所有的特征的数据控制在一个合理的大致相同范围之内，这就是数据优化

数据优化的方式：归一化、正则化、标准化

8.2.1 归一化：将数据转化成(0-1)之间的值

公式：(data-min(data))/(max(data)-min(data))

1)创建归一化算法模型
在这里插入图片描述

2） 对数据进行归一化处理
在这里插入图片描述
3) 对归一化以后的数据进行网格搜索
在这里插入图片描述

  1. 查看相关信息在这里插入图片描述
    在这里插入图片描述
8.2.2 标准化

公式：(data-std(data))/std(data)

1)创建标准化算法模型
在这里插入图片描述

2） 对数据进行标准化处理
在这里插入图片描述

  1. 查看相关信息
    在这里插入图片描述
8.2.3 正则化

正则化有两种,l1正则化和l2正则化
在这里插入图片描述

  1. 创建正则化算法模型
    在这里插入图片描述
    默认是l2正则化模型

2） 对数据进行正则化处理
在这里插入图片描述

  1. 查看相关信息
    在这里插入图片描述

9. 打包算法

当一个算法经过调优以后，如果达到了理想情况我们需要将这个算法进行打包,以供系统人员使用

  1. 打包
    使用joblib.dump()函数打包
    在这里插入图片描述
    查看打包的文件
    在这里插入图片描述

算法使用说明文档：
1）knn.m这个文件是算法的核心文件，里面封装了整个算法的流程
2）使用这个算法首先要安装numpy、pandas、sklearn等框架
3）使用该算法之前，首先要导入sklearn中的joblib模块，具体代码：from sklearn.externals import joblib
4）用joblib把本地的算法的.m文件导入(joblib.load(“路径”))
5）在使用这个算法预测之前首先要把数据进行归一化，具体操作（附代码）
6）使用我们导入的文件调用predict方法把归一化的数据传入就可以得到预测结果

  1. 算法的使用
    在这里插入图片描述
kaggle-2美国人口普查年收入50K分类
常思考->有目标->重实践->善反思
12-31 2万+
本文主要是使用xgboost， RandomForestClassifier算法实现美国1994年人口普查数据，居民年收入是否超过50K的分类问题。主要内容如下:1 数据预处理 数据信息查看，添加对应的列标签 缺失值处理，以及属性值替换 Ordinal Encoding to Categoricals（string 特征转化为整数编码） 2 模型训练以及验证 xgboost算法分类以及GridS
K近邻值（KNN）小麦种类预测 预测年收入是否大于50K美元 癌症预测
PyRookie
08-16 2956
知识点梳理： 小麦种类预测： 打乱分离集和结果集，源码办法 年收入预测： 样本字符串转数字 癌症预测： 打乱分离集和结果集自带函数，样本数据归一化 一、小麦种类预测 1）处理数据 1、导入数据 samples = pd.read_table('./data/wheats.tsv',header=None) samples samples.shape (210, 8...
预测年收入是否大于50K美元--adults.txt
08-01
读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50 获取年龄、教育程度、职位、每周工作时间作为机器学习数据 获取薪水作为对应结果
Python全栈+人工智能:回归算法应用笔记
lm19770429的专栏
07-19 271
美国工资水平预测： adults = pd.read_csv('../data/adults.txt') adults.head() data = adults[['age', 'workclass', 'education', 'marital_status', 'occupation', 'race', 'sex', 'hours_per_week', 'native_country']].copy() target = adults.salary cols = [ 'workclass', ..
广州大学机器学习与数据挖掘实验二
faith312的博客
01-17 5492
实验二 逻辑回归与朴素贝叶斯分类 一、 实验目的 本实验课程是计算机、人工智能、软件工程等专业学生的一门专业课程，通过实验，帮助学生更好地掌握数据挖掘与机器学习相关概念、技术、原理、应用等；通过实验提高学生编写实验报告、总结实验结果的能力；使学生对机器学习模型、算法等有比较深入的认识。要掌握的知识点如下： 掌握机器学习中涉及的相关概念、模型、算法； 熟悉机器学习模型训练、验证、测试的流程； 熟悉常用的数据预处理方法； 掌握逻辑回归、贝叶斯分类的表示、求解及编程。 二、基本要求 实验前，复习《数据挖掘与
机器学习作业-预测收入的是否大于50K+源代码+文档说明
12-23
1、资源内容：机器学习作业-预测收入是否大于50K+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、 目标检测模型、智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、智能控制、路径规划、无人机等多种领域的算法仿真实验，更多源码，请上博主主页搜索。 -------------------------------------------------------------------------- -
黑马机器学习day01
08-08
黑马机器学习day01
机器学习Day01
最新发布
weixin_74173895的博客
04-22 1321
人工智能（AI）：使用计算机来模拟或者代替人类机器学习（ML）：机器自动学习，并不只由人定义规则编程深度学习（DL）：大脑仿生，模拟人大脑神经网络，设计一层层神经元模拟事物机器学习是实现人工智能的一种途径，深度学习是机器学习的一种更加深入的方法。
机器学习day01.mnd
11-20
机器学习day01.mnd
机器学习day1资料.zip
06-06
在本压缩包“机器学习day1资料.zip”中，我们主要关注的是Python机器学习的基础内容。这个资料包涵盖了多种常用且重要的机器学习算法，包括分类和回归两大类。接下来，我们将详细探讨这些算法及其在Python中的实现。...
adult数据集 python 三种Boost方法
05-19
Boosting提升方法是一种常用的统计学习方法，应用十分广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。总而言之，提升算法基于这样一种思路：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家独断的判断好。最终三种Boost方法都在87%左右，最高87.6%。
人口普查-收入预测：建立分类模型来预测一个人的年收入是否超过$ 50K或低于$ 50K
02-21
人口普查-收入预测 概述 在该项目中，我们将使用年龄，教育程度，工作类别，国家/地区，职业等各种特征来预测一个人的年收入是否超过5万美元或低于5万美元。这是一个二元分类问题。 我们将使用的数据集是来自Kaggle的成人普查收入数据集，其中包含约32561行和15个要素。 网络应用 如果要查看已部署的模型，请单击以下链接： : 如果要搜索代码，使用的算法和模型的准确性，请打开“ Income Prediction.ipynb”文件
算法分类.txt
10-20
对ACM竞赛的算法大概分了一下类，分成了数学、数据结构和算法三大块。 一 数学(Mathematics) 1 离散数学(Discrete Mathematics) 1.1 图论(Graph Theory) 图的遍历(Graph Traversal): DFS, BFS 最小生成树(Minimum Spanning Tree): Prim, Kruskal 最短路径(Shortest Path): Dijkstra, Floyd 传递闭包(Transitive Closure) 关节点(Articulation Point - UndiGraph) 拓扑排序(Topological Sort - AOV-Network) 关键路径(Critical Path - AOE-Network) 回路问题: 欧拉路(Euler Path), 汉密尔顿回路(Hamilton Tour) 差分约束(Difference Constraints): Bellman-Ford 二部图匹配(Bipartite Matching) 网络流(Network Flow) ...
AI人工智能资料 机器学习和深度学习知识 day01-机器学习概述、特征工程、机器学习算法 共127页.pptx
05-03
day01-机器学习概述、特征工程、机器学习算法 共127页.pptx day02-sklearn、knn、朴素贝叶斯、决策树、随机森林 共102页.pptx day03-线性回归、岭回归、逻辑回归、分类、聚类算法 共86页.pptx day04-Tensorflow基础...
预测年收入是否大于50K美元
少年一贯快马扬帆，道阻且长不转弯； 要盛大，要绚烂，要哗然； 要用理想的泰坦尼克，去撞现实的冰川； 要当烧赤壁的风，而非借鉴草船； 要为了一片海，就肯翻万山。
03-10 1756
预测年收入是否大于50K美元 import pandas as pd from sklearn. preprocessing import MinMaxScaler import numpy as np #加载数据 df = pd.read csv( ' . /datasets/adults. txt' ) #样本数据的提取 target = df['salary'] feature = df[['age','education_num','occupation','hours_p..
人力资源【实战案例】
yujinlong2002的博客
12-06 459
该数据集由多个特征（包括年龄、教育程度、婚姻状况、职业等）组成，其中一些特征是连续值，另一些类别值。该数据集基于1994年美国人口普查的数据，包含来自美国人口普查局的个人收入数据，旨在预测一个人的收入是否。数据集是一个经典的机器学习数据集，用于。模型调优后的模型评分。
机器学习
qq_30075075的博客
10-18 395
机器学习 1. 机器学习的引入 城市气候与海洋的关系研究 : 导入包 : import numpy as np import pandas as pd from pandas import Series,DataFrame import matplotlib.pyplot as plt %matplotlib inline from pylab import mpl mpl.rcParams...
python knn预测_python爬虫---散点图和KNN预测
weixin_28856341的博客
03-01 1146
散点图和KNN预测一丶案例引入# 城市气候与海洋的关系研究# 导包import numpy as npimport pandas as pdfrom pandas import Series,DataFrameimport matplotlib.pyplot as plt%matplotlib inline # 使用画图模块时,jupyter工具需要声明from pylab import m...
机器学习Knn算法的理解与预测年收入阶段的项目Python代码实现。
LoveL_T的博客
11-19 2556
最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。      KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值