文件分类算法-----KNN、决策树、支持向量机、K-mean(非文件分类算法)

最新推荐文章于 2024-07-14 08:28:07 发布
最新推荐文章于 2024-07-14 08:28:07 发布
阅读量1.8k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_23559599/article/details/48750687
本文介绍了机器学习中两种主要的分类方法：积极学习和消极学习，并详细解释了包括贝叶斯、决策树、支持向量机等在内的积极学习算法，以及KNN邻近算法这一消极学习方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

分类：

1.积极学习：在给定的训练元组之后、接受到测试元组之前就构造好分类模型。

           算法：贝叶斯、基于规则的分类（决策树）、向后传播分类、SVM（支持向量机）、基于关联规则挖掘的分类

2.消极学习：推迟建模，当给定训练元组时，简单的存储训练数据或简单处理，一直等到给定一个测试元组，再建立分类模型。

           算法：邻近算法

KNN(K-Nearest Neighbors Alorithms)：邻近算法，计算一个点A与其他所有点之间的距离，取出与该点最近的K个点，然后统计这K个点里面所属分类比例最大的，则点A属于该分类

参考文献：http://wenku.baidu.com/link?url=T0NyamxxQ2IYtqwRc3-anrF89FlygVLrp9PaZR6-Y5jvCGh9nKEYbRLx0KaC0zMPfMtYOSl7cUFKl77jKbsmyfpuxHJ5liosS6Q0jpzuKZm

决策树：一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

参考文献：http://baike.baidu.com/link?url=exqjgGB1fwMgMQlgo8hjTwYCAK0Liw-FsSCcjU2bRnylTuD_BwBE_bA_545niLMgE3EaYOBmetmF9ZUbxgEYz_

支持向量机(SVM)：解决小样本、非线性及高维模式识别。基于统计学，以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是基于结构风险最小化准则的学习方法。SVM的解是全局唯一的最优解。其实就是使用超平面将不同类别分开，如果是线性的就直接只用超平面，如果是非线性的就转化为多维来处理，也就是多个线性，最后实现最优分类面(由多维超平面组成)

参考文献：http://wenku.baidu.com/view/aef47518964bcf84b9d57bbf.html?re=view

                    http://www.chinakdd.com/article-W82k0g2822JE712.html

Kmean：很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。


参考文献：http://baike.baidu.com/link?url=9ntDoVsY4xQz-c_7crAQj_vSPCFQF62p1cdsGS_AQ1tTOAlO5qJ6NZqj6bj1388cgETkALcgI_rHK_mfShs5XK

自然语言处理之文本分类：K-Nearest Neighbors(KNN)算法原理
zhubeibei168的博客
05-11 606
KNN算法在文本分类中是一个简单而有效的方法，它通过计算文本之间的距离来预测类别。然而，KNN算法的效率和性能在大规模数据集上可能会受到挑战，因为它需要计算待分类文本与训练集中每个文本的距离。此外，K值的选择和距离度量方法的选择也对模型的性能有重要影响。文本预处理中的文本向量化技术是将文本转换为数值向量的关键步骤。TF-IDF和词嵌入是两种广泛使用的向量化方法，它们分别从统计和语义的角度来表示文本。通过上述示例代码，我们展示了如何使用Python中的sklearn和gensim库来实现这两种向量化技术。
机器学习基础09-审查分类算法（基于印第安糖尿病Pima Indians数据集）
小海聊智造
08-24 933
算法审查是选择合适的机器学习算法的主要方法之一。审查算法前并不知道哪个算法对问题最有效，必须设计一定的实验进行验证，以找到对问题最有效的算法。本章将学习通过scikit-learn来审查六种机器学习的分类算法，通过比较算法评估矩阵的结果，选择合适的算法。
分类算法技术文档
01-07
介绍常用的机器学习算法，贝叶斯分类器，决策树，神经网络等
简单文档分类——朴素贝叶斯算法
小白太白的博客
12-01 652
朴素贝叶斯算法 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。 最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model，NBM)。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估...
从原始文档到KNN分类算法实现(二）
weixin_33991727的博客
09-03 132
1.复旦语料库train集中有6个类是多于1000个文档的，把它们取出来，分别删减至1000个文档，构成接下来我们要进行实验的训练集。2.执行Predeal.java，它依次进行三项操作：把文件重命名为顺序的数字编号;把文件编号（即文件名）写入文档开头，用一个空格与正文内容隔开，去除正文每行末的换行符，把整个文档合并为一行，去除正文行间的空格;用ICTCLAS进行中文分词.由于一次运行对6000个...
手写数字识别：基于决策树算法，KNN算法，支持向量机（SVM）算法与卷积神经网络（CNN）算法
huiyiiiiii的博客
04-28 3753
998年，美国国家标准技术研究所（NIST）发布了MNIST数据集，这是一个用来训练各种图像处理系统的二进制图像数据集，广泛应用于机器学习中的训练和测试。MNIST数据集是从NIST的两个手写数字数据集：Special Database 3 和Special Database 1中分别取出部分图像，并经过一些图像处理后得到的。MNIST数据集共有70000张图像，其中训练集60000张，测试集10000张。所有图像都是28×28的灰度图像，每张图像包含一个手写数字。
文档分类算法总结
fate_killer_liu_jie的专栏
03-21 948
文档分类的概念文档分类就是将一篇文档自动指定到几个预定义的文本类别中。向量空间模型文档分类多使用向量空间模型（VSM,vector space model），向量空间模型将文档中提取出若干特征词，按照特征词出现的的频率，将文本转换成空间中的点，通过比较点之间的距离确定文档的类别。机器学习算法机器学习算法分为两个阶段，第一阶段是学习阶段，第二阶段是分类阶段，学习阶段使用训练集构造分类器进行分类朴素贝叶
机器学习算法决策树、支持向量机、聚类算法(K-Mean)、kNN。.zip
04-23
为了深入了解一些机器学习算法，把一些经典算法的代码...包括决策树、集成学习(Adaboost、GBDT、XgBoost、RandomForest)、支持向量机、EM算法(GMM)、极大似然估计、降维算法(PCA、LDA、T-SNE)、聚类算法(K-Mean)、kNN。
分类算法：K-近邻(KNN)算法及其优化
kkchenjj的博客
07-14 1245
K-近邻算法(K-Nearest Neighbors, KNN)是一种基于实例的学习方法，用于分类和回归。
Machine Learning 算法总结（一）分类算法——KNN，Linear分类，决策树DecisionTree，支持向量机SVM，朴素贝叶斯
weixin_43787438的博客
03-28 1956
一、Bayes Classification Bayes的预测条件概率分布的方法在之前一篇文章中已经总结过，其实就是通过抽取样本信息、先验信息和总体信息去得到变量的后验分布。举个例子： e.g. In a high school，a student’s height is 1.65m. Is the student male or female? 在这个问题里，我们需要知道P(male|x=1.65),x=1.65就是样本信息，我们需要假设P(male)，即男生和女生的身高分布作为先验信息，从而就可以求
PPT：大数据经典算法（Kmeans、SVM、KNN）
10-22
大数据十大经典算法PPT系列，详细讲解了Kmeans、SVM、KNN三种算法。
matlab的K-mean图像分类程序
10-26
利用matlab编写的K均值图像分类程序
K均值分类法
10-22
本程序为K均值分类法的代码实现，可运行.采用C++编写；模式识别
机器学习中类属于监督学习中的六种经典的分类算法
03-29
有关机器 学习的基本介绍，比如机器学习是分为监督学习和无监督学习的，以及监督学习中的一些算法，有分类算法和数值型预测算法，分类算法中几种比较经典的算法
文档自动分类模型--分类算法思路总结
u012922806的博客
06-06 2091
简介 文本分类作为自然语言处理任务之一，被广泛应用于解决各种商业领域的问题。文本分类的目的是将 文本/文档 自动地归类为一种或多种预定义的类别。常见的文本分类应用如下： 理解社交媒体用户的情感 识别垃圾邮件与正常邮件 自动标注用户的查询 将新闻按已有的主题分类 主要步骤 文本分类属于有监督机器学习任务，这是因为文本分类任务利用一个包含文本/文档及其对应类标的有标注数据集来训练一...
13python数据分析分类算法– Knn算法 – 决策树 – 贝叶斯分类器 – 支持向量机 – 神经网络
AthlenaA的博客
06-15 4558
分类  什么是分类 – 分类模型:输入样本的属性值，输出对应的类别，将每个样本映射到预先定义好的类别  常用分类算法 – Knn算法 – 决策树 – 贝叶斯分类器 – 支持向量机 – 神经网络 5种算法！！ 分类：分为娱乐新闻、民生新闻、 识别到各个类别之间的差距，对于新给的一个新闻，根据历史信息预测到它的类别 有监督的学习：类别是已经确定的 根据训练集数据模型的创建、模型的使用 类别是给定的...
KNN的基本工作原理，以及其与支持向量机，cart决策树和贝叶斯的一个效果区分
qq_42907167的博客
05-30 457
近朱者赤，近墨者黑”可以说是 KNN 的工作原理。 整个计算过程分为三步： 计算待分类物体与其他物体之间的距离； 统计距离最近的 K 个邻居； 对于 K 个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类。 在 KNN 算法中，还有一个重要的计算就是关于距离的度量。两个样本点之间的距离代表了这两个样本之间的相似度。距离越大，差异性越大；距离越小，相似度越大。 关于距离的计算方式有下面五种方式：欧氏距离；曼哈顿距离；闵可夫斯基距离；切比雪夫距离；余弦距离。 这里，我们使用构造函数 KNeigh
k-mean图像分类
FPGA/MATLAB学习教程/源码/项目合作开发
06-09 2901
D75
K-means聚类算法实现分类
qq_44291044的博客
07-17 1485
K-means属于无监督学习 from numpy import vstack from scipy.cluster.vq import kmeans, vq list1 = [88.0, 64.0, 96.0, 85.0] list2 = [92.0, 99.0, 95.0, 94.0] list3 = [91.0, 87.0, 99.0, 95.0] list4 = [78.0, 99.0,...
scikit-learn算法
最新发布
05-06
### Scikit-learn 中的算法列表及其使用方法 #### 分类算法 Scikit-learn 提供了多种分类算法，这些算法适用于解决不同类型的分类问题。以下是常见的分类算法及其基本用法： 1. **支持向量机 (Support Vector Machine)** SVM 是一种强大的分类器，能够处理高维数据并提供良好的泛化能力[^3]。 ```python from sklearn import svm clf = svm.SVC(kernel='linear', C=1.0) clf.fit(X_train, y_train) predictions = clf.predict(X_test) ``` 2. **随机森林 (Random Forest)** 随机森林是一种基于决策树集成的方法，具有较高的鲁棒性和准确性[^3]。 ```python from sklearn.ensemble import RandomForestClassifier rf_clf = RandomForestClassifier(n_estimators=100, random_state=42) rf_clf.fit(X_train, y_train) predictions = rf_clf.predict(X_test) ``` 3. **逻辑回归 (Logistic Regression)** 逻辑回归适合于二分类问题，并能给出概率估计[^1]。 ```python from sklearn.linear_model import LogisticRegression lr_clf = LogisticRegression() lr_clf.fit(X_train, y_train) probabilities = lr_clf.predict_proba(X_test) ``` 4. **朴素贝叶斯 (Naive Bayes)** Naive Bayes 基于贝叶斯定理，特别适合文本分类等问题。 ```python from sklearn.naive_bayes import GaussianNB nb_clf = GaussianNB() nb_clf.fit(X_train, y_train) predictions = nb_clf.predict(X_test) ``` 5. **K 近邻 (K Nearest Neighbor)** KNN 是一种简单直观的分类算法，通过计算样本之间的距离来进行预测[^3]。 ```python from sklearn.neighbors import KNeighborsClassifier knn_clf = KNeighborsClassifier(n_neighbors=5) knn_clf.fit(X_train, y_train) predictions = knn_clf.predict(X_test) ``` 6. **梯度提升树 (Gradient Boosting Decision Tree)** GBDT 是一种高效的集成学习方法，常用于复杂的数据集[^3]。 ```python from sklearn.ensemble import GradientBoostingClassifier gbt_clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0, max_depth=1, random_state=42) gbt_clf.fit(X_train, y_train) predictions = gbt_clf.predict(X_test) ``` 7. **AdaBoost** AdaBoost 是另一种经典的集成学习方法，尤其擅长处理弱分类器[^2]。 ```python from sklearn.ensemble import AdaBoostClassifier ada_clf = AdaBoostClassifier(n_estimators=50, learning_rate=1.0, random_state=42) ada_clf.fit(X_train, y_train) predictions = ada_clf.predict(X_test) ``` --- #### 回归算法 除了分类任务外，Scikit-learn 同样提供了丰富的回归算法来拟合连续型目标变量。 1. **线性回归 (Linear Regression)** 线性回归是最基础的回归模型之一，假设输入特征与输出之间存在线性关系[^3]。 ```python from sklearn.linear_model import LinearRegression reg = LinearRegression() reg.fit(X_train, y_train) predictions = reg.predict(X_test) ``` 2. **岭回归 (Ridge Regression)** Ridge 回归通过对权重施加 L2 正则化项来防止过拟合[^3]。 ```python from sklearn.linear_model import Ridge ridge_reg = Ridge(alpha=1.0) ridge_reg.fit(X_train, y_train) predictions = ridge_reg.predict(X_test) ``` 3. **Lasso 回归** Lasso 回归引入 L1 正则化，有助于稀疏解的选择。 ```python from sklearn.linear_model import Lasso lasso_reg = Lasso(alpha=0.1) lasso_reg.fit(X_train, y_train) predictions = lasso_reg.predict(X_test) ``` 4. **弹性网络 (Elastic Net)** ElasticNet 结合了 L1 和 L2 正则化的优点，在某些场景下表现更优。 ```python from sklearn.linear_model import ElasticNet enet_reg = ElasticNet(alpha=0.1, l1_ratio=0.5) enet_reg.fit(X_train, y_train) predictions = enet_reg.predict(X_test) ``` --- #### 聚类算法 聚类算法主要用于无监督学习任务，帮助发现数据中的潜在结构。 1. **K 均值 (K-Means)** KMeans 将数据划分为指定数量的簇，使得同一簇内的点尽可能接近。 ```python from sklearn.cluster import KMeans kmeans = KMeans(n_clusters=3, random_state=42) labels = kmeans.fit_predict(X) ``` 2. **DBSCAN** DBSCAN 可以识别任意形状的簇，并自动检测噪声点。 ```python from sklearn.cluster import DBSCAN dbscan = DBSCAN(eps=0.5, min_samples=5) labels = dbscan.fit_predict(X) ``` --- #### 降维算法 当面对高维数据时，可以通过降维技术减少维度，从而提高效率和可解释性。 1. **主成分分析 (Principal Component Analysis, PCA)** PCA 是最常用的线性降维方法之一，保留最大方差的方向[^3]。 ```python from sklearn.decomposition import PCA pca = PCA(n_components=2) X_reduced = pca.fit_transform(X) ``` 2. **t-SNE** t-SNE 更适合可视化高维数据，尤其是非线性分布的情况[^3]。 ```python from sklearn.manifold import TSNE tsne = TSNE(n_components=2, perplexity=30, random_state=42) X_embedded = tsne.fit_transform(X) ``` --- #### 模型选择与评估工具 为了优化模型性能，Scikit-learn 提供了一系列实用的功能。 1. **交叉验证 (Cross Validation)** 使用 `cross_val_score` 对模型进行多次验证，获得更加稳定的评价结果。 ```python from sklearn.model_selection import cross_val_score scores = cross_val_score(clf, X, y, cv=5) mean_accuracy = scores.mean() ``` 2. **网格搜索 (Grid Search)** GridSearchCV 自动寻找最佳超参数组合[^3]。 ```python from sklearn.model_selection import GridSearchCV param_grid = {'C': [0.1, 1, 10], 'kernel': ['linear', 'rbf']} grid_search = GridSearchCV(svm.SVC(), param_grid, cv=5) grid_search.fit(X_train, y_train) best_params = grid_search.best_params_ ``` 3. **模型评估指标** 计算各种评估指标（如准确率、召回率、F1 分数等），全面衡量模型效果。 ```python from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score acc = accuracy_score(y_test, predictions) prec = precision_score(y_test, predictions) rec = recall_score(y_test, predictions) f1 = f1_score(y_test, predictions) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值