11、机器学习算法概览：从基础到应用

机器学习算法概览：从基础到应用

一、k近邻算法（kNN）

1. 预测机制

预测在请求时进行。在回归问题中，使用k个最相似实例的均值或中位数；在分类问题中，选择k个最相似实例中出现频率最高的类别。

2. 距离度量

确定相似性的方法多样，如二元向量间的汉明距离、实向量间的曼哈顿距离（绝对差之和）。

3. 缺点

• 计算需求大 ：对一个对象进行分类时，需要计算训练数据集中所有邻居的距离。
• 不适用于高维数据 ：每个预测变量可视为N维输入空间的一个维度，维度增加会使输入空间体积呈指数级增长。
• 不适用于含缺失值的数据 ：无法计算含缺失数据的向量间距离。

二、神经网络

1. 灵感来源与特点

受大脑工作的生物机制启发，基于动物大脑的并行架构，是一种不同的计算范式。能对多维数据建模，高效发现数据中的隐藏模式，可应用于预测和分类问题，前向传播是指估计结果并与实际输出进行比较的过程。

2. 神经网络类型

• 感知机 ：是人工神经网络的基本单元，接收多个输入，产生一个输出（通常为1或 -1）。通过对输入进行加权求和（S），并使用单位函数计算节点输出。单位函数包括线性函数、阈值函数、阶跃函数和西格玛函数（1/(1 + e – s)，支持反向传播）。感知机模拟生物神经元，有偏置项，类似于线性函数y