23、机器学习揭秘：从基础到实践

机器学习揭秘：从基础到实践

1. 机器学习带来的思维转变

机器学习促使我们从专注于规则集和特征签名，转向基于计算机直接从数据中学习的持续自适应。与传统的阈值和正则表达式规则不同，机器学习让我们能更灵活地应对各种情况。

2. 机器学习算法类型

2.1 监督学习与无监督学习

机器学习算法主要分为监督学习和无监督学习两类，选择哪种类型更多取决于数据类型而非个人偏好。
- 监督学习 ：需要训练集包含已知样本，例如判断主机是否感染恶意软件，或分析各地区的感染数量与其他数据的关联。只有在拥有标记或已知数据时，监督学习才可行。
- 无监督学习 ：适用于事先不知道期望结果的情况，让数据“自己说话”。例如亚马逊或 Netflix 的推荐系统，基于用户的电影租赁或购买历史数据，通过无监督学习将相似的用户分组，从而推荐相关产品。无监督学习能帮助发现数据中的分组和关系，但难以明确证明某些结论。

2.2 参数方法与非参数方法

除了监督和无监督分类，机器学习算法还可分为参数方法和非参数方法。
- 参数方法 ：模型或算法中有一个或多个参数需要在训练步骤中进行估计。例如线性回归， lm() 命令的部分输出是线性系数（参数），用于回归分析中的预测和推断。
- 非参数方法 ：以随机森林算法为例，训练时无需估计参数，而是构建一系列决策树用于进一步分类。

3. 机器学习能解决的问题

3