机器学习——分类问题与逻辑回归、KNN

最新推荐文章于 2024-06-13 21:56:36 发布
最新推荐文章于 2024-06-13 21:56:36 发布
阅读量808 收藏
点赞数 1
分类专栏： 笔记 文章标签： 机器学习 python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45739665/article/details/114117980
版权

目录

一、垃圾信息检测

1.1如何实现
  • 收集一些样本，告诉计算机哪些是垃圾信息【监督学习】
  • 计算机自动寻找垃圾信息的共同特征【部分特征：发件人、是否群发、网址、元、赢、微信、免费】
  • 在新信息中检测是否包含垃圾信息特征内容，判断其是否为垃圾信息

二、分类预测

2.1定义
  • 根据数据类别与部分特征信息，自动寻找类别与特征信息的关系，判断一个新的样本属于哪种类别
2.2流程
  • 特征信息
  • 数据类别
  • 寻找关系
    在这里插入图片描述
2.3方法
  • 逻辑回归
    在这里插入图片描述
  • 朴素贝叶斯
    在这里插入图片描述
  • 决策树
    在这里插入图片描述
  • KNN近邻模型
    在这里插入图片描述

三、逻辑回归

3.1更适合于分类场景的模型
  • 更符合类别数据分布特点
  • 连续的函数关系
3.2定义
  • 根据数据特征，计算样本归属于某一类类别的概率P（x）,根据概率数值判断其所属类别
  • 逻辑回归结合多项式边界函数可解决复杂的分类问题
  • 模型求解的核心，在于寻找到合适的多项式边界函数
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
3.3模型求解
  • 寻找损失函数最小值
  • 分类问题，结果为离散数据，需要对损失函数进行调整以适应梯度下降法求解
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
3.4流程

在这里插入图片描述

3.5求边界
3.5.1一次边界
theta0=model.intercept_[0]
theta1,theta2=model.coef_[0][0],model.coef_[0][1]
print(theta0,theta1,theta2)

x1=data.loc[:,'尺寸1']
# In[]
#计算边界函数上对应的尺寸2
X2_new=-(theta0+theta1*x1)/theta2
print(X2_new)
plt.plot(x,X2_new)
3.5.2二次边界
# In[]
#生成二次项
x1_2=x1*x1
x2_2=x2*x2
x1_x2=x1*x2
print(x1_2.shape,x2_2.shape,x1_x2.shape)


# In[]
#创建二次分类边界数据
x_new={'x1':x1,'x2':x2,'x1_2':x1_2,'x2_2':x2_2,'x1_x2':x1_x2}
print(x_new)
x_new=pd.DataFrame(x_new)
print(x_new)

# In[]
#通过函数计算边界
theta0=model2.intercept_
theta1,theta2,theta3,theta4,theta5=model2.coef_[0][0],model2.coef_[0][1],model2.coef_[0][2],model2.coef_[0][3],model2.coef_[0][4]
print(theta0,theta1,theta2,theta3,theta4,theta5)

# In[]
#将x1进行排序
x1_new=x1.sort_values()

a=theta4
b=theta5*x1_new+theta2
c=theta0+theta1*x1_new+theta3*x1_new*x1_new
x2_new_2=(-b+np.sqrt(b*b-4*a*c))/(2*a)
print(x2_new_2)

fig2=plt.figure()
abnormal=plt.scatter(data.loc[:,'pay1'][mask],data.loc[:,'pay2'][mask])
normal=plt.scatter(data.loc[:,'pay1'][~mask],data.loc[:,'pay2'][~mask])
plt.plot(x1_new,x2_new_2)
plt.title('pay1_pay2')
plt.xlabel("pay1")
plt.ylabel("pay2")
plt.legend((abnormal,normal),('abnormal','normal'))
plt.show()
3.6 预测消费者是否会购买商品，我们通常做些什么
  • 前期工作：调研、讨论并确认影响购买意愿的因素；数据采集
  • 数据预处理：异常数据处理、信息量化
  • 建模与训练：从简单到复杂的决策边界模型
  • 预测、评估、优化：引入不同的评估指标、尝试不同的模型
  • 总结与汇报：结果整理并分析、输出项目报告

四、KNN

4.1建立、训练、预测、评估模型
from sklearn.neighbors import KNeighborsClassifier
KNN=KNeighborsClassifier(n_neighbors=3)
KNN.fit(X,y)
y_predict_knn=KNN.predict(X)

from sklearn.metrics import accuracy_score
accuracy=accuracy_score(y,y_predict_knn)
print(accuracy)

五、任务

5.1 基于线性二分类案例与数据，建立逻辑回归模型，计算并绘制边界曲线，并预测X1=1,X2=10数据点属于什么类别
  • 基于数据，建立逻辑回归模型，评估模型表现
  • 预测X1=1，X2=10时，该产品是良品还是次品
  • 获取边界函数参数，绘制边界函数
# In[]
import numpy as np
import pandas as pd

data=pd.read_csv("data1_lgicRg.csv")
data.head()

# In[]
from matplotlib import pyplot as plt
fig1=plt.figure()
plt.scatter(data.loc[:,'尺寸1'],data.loc[:,'尺寸2'])
plt.title('Size1-Size2')
plt.xlabel("size1(x)")
plt.ylabel("size2(y)")
plt.show()

# In[]
#建立一个用于筛选类别的变量
mask=data.loc[:,'y']==1
print(mask)

# In[]
#数据可视化
ok=plt.scatter(data.loc[:,'尺寸1'][mask],data.loc[:,'尺寸2'][mask])
ng=plt.scatter(data.loc[:,'尺寸1'][~mask],data.loc[:,'尺寸2'][~mask])
plt.title('Size1-Size2')
plt.xlabel('size1')
plt.ylabel('size2')
plt.legend((ok,ng), ('ok','ng'))
plt.show()



# In[]
x=data.drop(['y'],axis=1)
y=data.loc[:,'y']
x.head()

# In[]
from sklearn.linear_model import LogisticRegression
model=LogisticRegression()
print(model)

model.fit(x,y)
# In[]
y_predict=model.predict(x)
print(y_predict)


# In[]
y_test=model.predict([[1,10]])
print('ok'if y_test==1 else'ng')




# In[]
#模型评估[accuray=正确预测样本数量/总样本数量]
from sklearn.metrics import accuracy_score
accuracy=accuracy_score(y, y_predict)
print(accuracy)


# In[]
#获取边界函数参数
print(model.intercept_)
print(model.coef_)





# In[]
#通过函数计算边界
theta0=model.intercept_[0]
theta1,theta2=model.coef_[0][0],model.coef_[0][1]
print(theta0,theta1,theta2)

x1=data.loc[:,'尺寸1']
# In[]
#计算边界函数上对应的尺寸2
X2_new=-(theta0+theta1*x1)/theta2
print(X2_new)
plt.plot(x,X2_new)




# In[]
#可视化
ok=plt.scatter(data.loc[:,'尺寸1'][mask],data.loc[:,'尺寸2'][mask])
ng=plt.scatter(data.loc[:,'尺寸1'][~mask],data.loc[:,'尺寸2'][~mask])
plt.title('Size1-Size2')
plt.plot(x1,X2_new,'g')
plt.xlabel('size1')
plt.ylabel('size2')
plt.legend((ok,ng), ('ok','ng'))
plt.show()
5.2基于数据，建立二阶多项式逻辑回归模型，根据预测，与线性逻辑回归模型结果进行对比
  • 建立线性边界的逻辑回归模型，评估模型表现
  • 建立二阶多项式边界的逻辑回归模型，对比其与线性边界的表现
  • 预测pay1=80,pay2=20时对应消费是否为异常消费
  • 获取边界函数参数、绘制边界函数
  • 在这里插入图片描述
# In[]
import numpy as np
import pandas as pd

data=pd.read_csv("data2_lgicRg.csv")
data.head()


# In[]
#可视化数据
from  matplotlib import pyplot as plt
fig1=plt.figure()
plt.scatter(data.loc[:,'pay1'],data.loc[:,'pay2'])
plt.title('pay1_pay2')
plt.xlabel("pay1")
plt.ylabel("pay2")
plt.show()

# In[]
#建立一个用于筛选的变量
mask=data.loc[:,'y']==1
print(mask)

# In[]
fig1=plt.figure()
abnormal=plt.scatter(data.loc[:,'pay1'][mask],data.loc[:,'pay2'][mask])
normal=plt.scatter(data.loc[:,'pay1'][~mask],data.loc[:,'pay2'][~mask])
plt.title('pay1_pay2')
plt.xlabel("pay1")
plt.ylabel("pay2")
plt.legend((abnormal,normal),('abnormal','normal'))
plt.show()


# In[]
#数据赋值
x=data.drop(['y'],axis=1)
y=data.loc[:,'y']
print(x.shape,y.shape)

# In[]
#建立线性边界分类模型
from sklearn.linear_model import LogisticRegression
model=LogisticRegression()
model.fit(x,y)

# In[]
#模型预测
y_predict=model.predict(x)
print(y_predict)

# In[]
from sklearn.metrics import accuracy_score
accuracy=accuracy_score(y,y_predict)
print(accuracy)

# In[]
theta0=model.intercept_
theta1,theta2=model.coef_[0][0],model.coef_[0][1]
print(theta0,theta1,theta2)


# In[]
x1=data.loc[:,'pay1']
x2=data.loc[:,'pay2']
x2_new=-(theta0+theta1*x1)/theta2




# In[]
#可视化
fig2=plt.figure()
abnormal=plt.scatter(data.loc[:,'pay1'][mask],data.loc[:,'pay2'][mask])
normal=plt.scatter(data.loc[:,'pay1'][~mask],data.loc[:,'pay2'][~mask])
plt.plot(x1,x2_new)
plt.title('pay1_pay2')
plt.xlabel("pay1")
plt.ylabel("pay2")
plt.legend((abnormal,normal),('abnormal','normal'))
plt.show()



# In[]
#生成二次项
x1_2=x1*x1
x2_2=x2*x2
x1_x2=x1*x2
print(x1_2.shape,x2_2.shape,x1_x2.shape)


# In[]
#创建二次分类边界数据
x_new={'x1':x1,'x2':x2,'x1_2':x1_2,'x2_2':x2_2,'x1_x2':x1_x2}
print(x_new)
x_new=pd.DataFrame(x_new)
print(x_new)
# In[]
#建立新模型
model2=LogisticRegression()
model2.fit(x_new,y)

# In[]
y2_predict=model2.predict(x_new)
print(y2_predict)





# In[]
#准确率
accuracy2=accuracy_score(y,y2_predict)
print(accuracy2)



# In[]
theta0=model2.intercept_
theta1,theta2,theta3,theta4,theta5=model2.coef_[0][0],model2.coef_[0][1],model2.coef_[0][2],model2.coef_[0][3],model2.coef_[0][4]
print(theta0,theta1,theta2,theta3,theta4,theta5)




# In[]
a=theta4
b=theta5*x1+theta2
c=theta0+theta1*x1+theta3*x1*x1
x2_new_2=(-b+np.sqrt(b*b-4*a*c))/(2*a)
print(x2_new_2)


# In[]
fig2=plt.figure()
abnormal=plt.scatter(data.loc[:,'pay1'][mask],data.loc[:,'pay2'][mask])
normal=plt.scatter(data.loc[:,'pay1'][~mask],data.loc[:,'pay2'][~mask])
plt.plot(x1,x2_new_2)
plt.title('pay1_pay2')
plt.xlabel("pay1")
plt.ylabel("pay2")
plt.legend((abnormal,normal),('abnormal','normal'))
plt.show()

# In[]
#将x1进行排序
x1_new=x1.sort_values()

a=theta4
b=theta5*x1_new+theta2
c=theta0+theta1*x1_new+theta3*x1_new*x1_new
x2_new_2=(-b+np.sqrt(b*b-4*a*c))/(2*a)
print(x2_new_2)

fig2=plt.figure()
abnormal=plt.scatter(data.loc[:,'pay1'][mask],data.loc[:,'pay2'][mask])
normal=plt.scatter(data.loc[:,'pay1'][~mask],data.loc[:,'pay2'][~mask])
plt.plot(x1_new,x2_new_2)
plt.title('pay1_pay2')
plt.xlabel("pay1")
plt.ylabel("pay2")
plt.legend((abnormal,normal),('abnormal','normal'))
plt.show()


# In[]


#新样本预测_1
X_test=np.array([[80,20]])
y_predict=model.predict(X_test)
print('abnormal' if y_predict==1 else'normal')

# In[]
#新样本预测_2
X_test=np.array([[80,20,80*80,20*20,80*20]])
y_predict=model2.predict(X_test)
print('abnormal' if y_predict==1 else'normal')
机器学习 逻辑回归和knn
qq_43573040的博客
04-02 2367
逻辑回归 逻辑回归是在分类问题中预测离散的值。 假说表示 逻辑回归模型的假设是： ℎ
KNN算法--基本分类和回归方法
测试0901-1
07-22 374
KNN算法--基本分类和回归方法。 1. 是什么 给定一个训练数据集(test_set) 对新的输入实例 在训练集(train_set)中找到与该实例距离最近的k个数据集 这k个数据集的大多数属于哪个类型的，那么这个实例就是那个分类。 如图一所示 举一个不恰当的例子：如果你的身边都是百万富翁，那你的资产大概率也不少。 2. k值的选取以及影响 2.1 k值过小，导致过拟合 如图所示,当k值...
KNN，逻辑回归。
诗剑书生的专栏
07-15 3297
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
Python高级--逻辑回归、KNN回归比较
PyRookie
08-18 6029
逻辑斯蒂回归、sklean自带数字图片load_digits()、产生数据集make_blobs 坐标扁平化、取画布上的所有点、指定散点图点的颜色
机器学习各类算法思路总结三(逻辑回归与KNN、KD树)
一念执着
04-22 1125
逻辑回归 首先，要明确的是，逻辑回归并不是监督学习中的回归类算法，是属于监督学习中的分类型算法 逻辑回归，不但可以能够进行分类，而且还能够获取属于该类别的概率 监督学习的思想，通俗的讲，就是为所有的样本，一一进行打分，然后设置一个阈值，按照按照阈值为分隔点，将样本分隔为不同的类别（达到阈值的一类，不达到的一类） 而，为样本打分的这一步，实际上和线性回归算法是一致的，都是利用最大似然估计，得到所有...
带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.pdf
02-22
逻辑回归、朴素贝叶斯、KNN、SVM和决策树这五种常见的机器学习分类算法来为你详解。 首先，我们来看逻辑回归。逻辑回归是一种广泛使用的二分类模型，通过sigmoid函数将线性模型的输出转化为0到1之间的概率值。在...
带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.docx
02-22
逻辑回归、朴素贝叶斯、KNN、SVM和决策树这五种经典的机器学习分类算法进行讲解。 1. **逻辑回归 (Logistic Regression)** 逻辑回归是一种广泛应用的分类方法，尤其适合处理二分类问题。尽管名称中包含“回归”，...
逻辑回归分类实验——【机器学习与算法分析】.pdf
06-20
- 由于逻辑回归通常用于二分类问题，所以我们筛选出具有两个类别（1.0和2.0）的数据。 - 使用VectorAssembler将特征列整合成一个向量列。 - 对类别列进行编码，使用StringIndexer将类别转换为数值。 - 划分数据...
scikit-learn中机器学习模型比较（逻辑回归与KNN）
weixin_30835933的博客
03-28 124
本文源自于Kevin Markham 的模型评估：https://github.com/justmarkham/scikit-learn-videos/blob/master/05_model_evaluation.ipynb 应办事项： 我的监督学习应该使用哪一个模型 我的模型中应该选择那些调整参数 如何估计模型在样本数据外的表现 评论： 分类任务：预测未知鸢尾...
【机器学习300问】115、对比K近邻（KNN）分类算法与逻辑回归分类算法的差异与特性？
最新发布
qq_39780701的博客
06-13 1261
对比K近邻（KNN）分类算法与逻辑回归分类算法的差异与特性？
决策树 逻辑回归 KNN 的原理
limengxinlirongrong的博客
06-20 917
决策树：每个内部节点代表一种特征 叶子节点代表 一种分类。基于训练数据建立决策树的过程是 特征选取的过程，递归地根据特征的信息增益来选取信息增益较大的特征 当做决策树的节点。这样的决策树生成算法叫 ID3算法，将ID3算法中的信息增益换成信息增益比 便是C4.5 算法，这两个算法的过程都是极大似然估计的过程。 为了防止过拟合，将生成的决策树进行剪枝 简化：建立损失函数 包含两部分 对训练数据的预
【数据分析day07】机器学习入门 & KNN（分类，回归）
HFZeng的博客
11-26 508
机器学习入门 & KNN机器学习入门原理机器学习分类1. 有监督学习（知道结果）分类 （有限数据）回归 （无限数据）2. 无监督学习聚类3. 半监督学习（不用管）深度学习KNN 基础知识k-近邻算法原理适用数据范围：优缺点&改进KNN 用法之：分类例子一：电影分类例子二：性别分类例子三：（yuan）鸢尾花分类绘图 机器学习入门 原理 定义：机器指的就是电脑。 把“人工智能”问题...
KNN分类和回归学习--sklearn
weixin_30485799的博客
10-14 778
参考文章： 《Python大战机器学习》（不好，就是官方文档的中文版再加上几个简单的例子） 数据挖掘十大算法–K近邻算法 机器学习笔记—KNN算法 常用样本相似性和距离度量方法 KNN（K近邻法） 输入为实例的特征向量，计算新数据与训练数据之间的距离，选取K个距离最近的数据进行分类或回归判断 对于分类问题:输出为实例的类别。分类时，对于新的实例...
机器学习分类算法_机器学习分类算法(一)逻辑回归
weixin_39724004的博客
11-22 803
逻辑回归算法原理推导逻辑回归属于分类算法，做的是分类任务，是一种经典的二分类算法！因为应用的比较广泛，且表现效果不错。如果做的是分类任务，可以先考虑逻辑回归。也可以使用逻辑回归解决多分类问题(softmax)机器学习算法选择：先逻辑回归再用复杂的，能简单还是用简单的。越复杂的结构内部解释起来越复杂，越简单的结构内部解释起来越简单。逻辑回归的决策边界：可以是非线性的Sigmiod函数公式：...
逻辑回归
weixin_30298497的博客
08-29 1231
Infi-chu: http://www.cnblogs.com/Infi-chu/ 逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。 一、简介 1.应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 ...
ML之分类预测：以六类机器学习算法(kNN、逻辑回归、SVM、决策树、随机森林、提升树、神经网络)对糖尿病数据集(8→1)实现二分类模型评估案例来理解和认知机器学习分类预测的模板流程
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-01 1万+
ML之分类预测：以六类机器学习算法(kNN、逻辑回归、SVM、决策树、随机森林、提升树、神经网络)对糖尿病数据集(8→1)实现二分类模型评估案例来理解和认知机器学习分类预测的模板流程 目录 六类机器学习算法(kNN、逻辑回归、SVM、决策树、随机森林、提升树、神经网络)对糖尿病数据集(8→1)实现二分类预测 数据集理解 1、kNN 2、逻辑回归 3、SVM 4、决策树 5、随机森林 6、提升树 7、神经网络 相关文章 ML之分类预测：以六类机器学习算法(kNN、逻辑回归
机器学习c12笔记：SVM学习与SVM,逻辑回归和kNN比较
陈陈的专栏
04-18 1万+
SVM摘自百度百科 参考书籍:机器学习实用案例解析SVM原理SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题．简单地说，就是升维和线性化．升维，就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津．但是作为分类、回归等问题来
KNN与SVM对比&SVM与逻辑回归的对比
weixin_30765505的博客
04-08 1024
首先说一下两种学习方式：lazylearning和eagerlearning。 先说eagerlearning,这种学习方式是指在进行某种判断（例如，确定一个点的分类或者回归中确定某个点对应的函数值）之前，先利用训练数据进行训练得到一个目标函数，待需要时就只利用训练好的函数进行决策，这是一种一劳永逸的方法，SVM就属于这种学习方式； 而lazylearning是指...
SVM与逻辑回归的区别
热门推荐
jfhdd的博客
08-25 1万+
逻辑回归和支持向量机之间的区别也是面试经常会问的一道题，特地找了一些相关资料看了下。损失函数 原文地址：http://charlesx.top/2016/03/LR-SVM/不好意思啊，我不太懂你说的log loss是log likelihood吗。我记得课上说logistic regression是用Maximum log Likelihood 来的.。实质上，在这个问题里面，对数损失和极大似然
波斯顿房价预测：机器学习分类与回归实战
对于分类问题，常用的算法有决策树、随机森林、支持向量机（SVM）、K近邻（KNN）和逻辑回归等。而回归问题中，线性回归、岭回归、LASSO回归、支持向量回归（SVR）和神经网络等算法则较为常见。 在进行机器学习项目...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值