机器学习（machine learning）的一些常识_model-free clustering-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_42045868/article/details/94411505

本文介绍了人工智能AI的本质和历史发展，重点讲解了机器学习ML的定义、基本思路及监督学习、非监督学习和强化学习的主要概念。并列举了包括线性回归、逻辑回归、决策树、支持向量机等在内的15种经典机器学习算法，以及它们的应用场景和工作原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于人工智能AI（Artificial Intelligence）

AI本质是一种工具，所以必须有人用才能发挥工具的价值
工具之间的核心差异是效能（也就是杠杆率），比如使用锤头，人只需出一份力就能得到2倍回报
AI在很多场景和领域还是没有什么价值，当前局限性依然很大
AI定义：一种高级的计算机程序、有明确的目标、可以感受到环境的变化（可以听到或看到环境的变化）、可以根据不同的环境做出不同的反应实现既定目标
AI与普通程序在环境感知、合理判断以及实现目标层次上的不同：
1.普通程序只知道这是一张图，AI知道图片内容是什么
2.普通程序任何情况下只能按照预先设定的死规则走，AI可以优化规则和学习
3.普通程序没有目标，只根据规则自动运行，AI 有目标，通过反馈不断优化自己规则实现更符合目标的规则
AI依赖海量数据，海量数据是实现AI的基础，不仅对数据量级要求极高，还对数据规范要求极高
发展史：第一次浪潮（非智能对话机器人）——第二次浪潮（语音识别）摒弃符号思路，使用统计学思路——第三次浪潮（深度学习+大数据）互联网的飞速发展提供了海量数据、数据存储成本下降、GPU（图形处理器）不断成熟提供算力支持
前两次浪潮是学术主导、处于市场宣传层面、学术界向政府和投资人拉赞助、更多的是提出问题
第三次浪潮是商业需求主导、处于商业模式层面、投资人主动向学术和创业项目投资、更多的是解决问题
AI的今天和未来：应用型AI（专注于解决特定领域问题的AI）——通用型AI（可以胜任人类所有工作的AI）——超AI（比人类还聪明）
AI局限性：所有问题——数学问题——可以计算问题（有明确答案、有限计算步骤）——图灵机能解决的问题——AI可以解决的问题——AI已经找到解决方案的问题
AI产品：一键美颜、抖音道具、语音转文字、推荐算法、垃圾邮件过滤功能、智能手机操作系统、AlphaGo下围棋
对待人工智能的态度：AI是历史浪潮、了解、适应以及利用它

机器学习（machine learning）

定义：ML是一种特殊算法（不是某种具体算法），能够让计算机自己从数据中学习，从而进行预测。
ML包含很多算法，如深度学习（deep learning）、决策树、聚类、贝叶斯…
深度学习（DL）灵感来源于大脑神经元的互连，如人工神经网络算法
范畴：人工智能AI>机器学习ML>深度学习DL
ML基本思路：现实问题抽象成数学模型（各参数的作用）——利用数学方法对数学模型求解（机器解决数学问题）——评估数学模型（是否解决了问题，效果如何）
ML根据训练方法分为监督学习、非监督学习以及强化学习
实际操作步骤：收集数据（训练集60%、验证集20%、测试集20%）——数据准备——选择模型——训练（机器用数学方法求解模型的过程）——评估（验证集、测试集）——参数调整（改进模型）——预测
数据的量级和规范直接决定预测模型的效果
验证集用于模型验证，确保模型没有过拟合、测试集用于评估模型效果
数据集常见问题：数据量不够、低质量的分类、低质量的数据、不平衡的分类、数据不平衡、没有验证集和测试集
评估指标：准确率、召回率、F值
机器学习的15中经典算法：

1. 线性回归(Linear Regression)

2. 逻辑回归(Logistic Regression)

二分类问题的首选方法，逻辑函数看起来像一个大S，将任何值转换到0到1的范围

3. 线性判别分析（Linear Discriminant Analysis）LDA

有两类以上的分类问题的首选线性分类技术

4. 决策树（Decision Tree）

最简单的ML算法，一颗二叉树或多叉树

5. 朴素贝叶斯（Naive Bayes Classifier）NBC

朴素在于假设的每个输入变量是独立的

6. K邻近（K-Nearest Neighbors）KNN

KNN模型表示的是整个训练数据集

7. 学习向量量化（Learning Vector Quantization）LVQ

是一种人工神经网络算法

8. 支持向量机（Support Vector Machine）SVM

最流行和最受关注的算法之一
-可以分析数据，识别模式

9. 随机森林（Random Forest）

用于分类、回归和其他任务的集成学习方法

10.AdaBoost

一种迭代算法，使用同一个训练集得到不同弱分类器，组合构成一个强分类器

11.高斯混合模型（非监督）

12.限制玻尔兹曼机（Restricted Boltzmann Machine）RBM（非监督）

一种可通过输入数据集学习概率分布的随机生成神经网络
在降维、分类、协同过滤、特征学习、主题建模

13.K-means聚类（K-Means Clustering）（非监督）

14.最大期望算法（非监督）

监督学习（SUPERVISED LEARNING）

定义：给算法一个数据集和相应的正确答案，机器通过数据来学习正确答案的计算方法
举例：数据集：一大堆猫狗照片；正确答案：每张照片打上猫或狗的标签，告诉机器这个照片是猫还是狗；机器通过数据和标签的对比学习，可以学会辨认新照片是猫还是狗
Supervised Learning的两个任务：回归和分类
举例：芝麻信用分（回归）、预测离婚（分类）
监督学习：预测某个具体的值
-监督学习流程：合适模型——训练数据（监督体现在标签）——训练获得方法论——新数据上使用进行预测

1.回归

预测连续的、具体的结果

1.1线性回归

处理回归任务常用算法之一
使用一个超平面拟合数据集（只有两个变量时是一条直线）

1.2回归树

决策树的一种，将数据集重复分割为不同分支实现分层学习，最大化每次分割的信息增益
这种分支结构让回归树很自然学习到非线性关系

2.分类

对事物分类，离散型预测

2.1 朴素贝叶斯

贝叶斯分类法是基于贝叶斯定理的统计学分类方法，通过预测一个给定元组属于一个特定类的概率，进行分类
朴素贝叶斯分类法是假定一个属性值在给定类的影响独立于其他属性值（类条件独立性）

2.2 决策树

简单但应用广泛的分类器
通过训练数据构建决策树，对未知数据进行分类

2.3 支持向量机SVM

把分类问题转化为寻找分类平面的问题
通过最大化分类边界点到分类平面的距离实现分类

2.4 逻辑回归

用于处理因变量为分类变量的回归问题，一种广义的线性回归分析模型
常见是二分类或二项分布问题，也可以是多分类问题，一种分类方法
逻辑函数看起来像一个大S，将任何值转换到0到1的范围
常用于数据挖掘、疾病自动诊断、经济预测

3. 回归+分类

3.1 K邻近

-搜索K个最相似的实例的整个训练集，总结K个实例输出变量，对新数据点进行预测

3.2 Adaboosting

Adaboost是从训练数据中学习一系列弱分类器或基本分类器，然后组合成一个强分类器

3.3 神经网络

按照不同连接方式组成不同网络

非监督学习（UNSUPERVISED LEARNING）UL

定义：给算法一个数据集，但是没有相应的正确答案（没有打上标签），让机器自己从中挖掘潜在的结构（分析不同与特征，哪些是相似，哪些不一样）
举例：数据集：一堆照片（猫和狗），没有正确答案：不打上猫和狗的标签，不告诉机器这个照片是猫还是狗；机器自己通过学习每张照片的特征，将其分为两类（也就是猫和狗）
-与监督学习相比：UL有明确目的的训练方式，但无法提前知道结果是什么；不需要给数据打标签；无法量化效果
-UL本质是一种统计手段，在没有标签的数据中挖掘潜在结构的一种训练方式
-举例：发现异常，通过UL快速将行为分类，排出正常行为，对异常行为进行分析；用户细分，通过用户行为对用户进行分类；推荐系统，根据浏览行为推荐相似商品，如聚类
-UL常用两种算法：聚类与降维