3、机器学习模型：几何与概率的探索-优快云博客

机器学习模型：几何与概率的探索

1. 机器学习的基础问题

在机器学习诞生之前，哲学家们就意识到从特定案例归纳出一般规则并非一个有明确定义解的问题，这种归纳推理与演绎推理形成对比，演绎推理适用于有明确正确解的问题。归纳问题有多种形式，18世纪苏格兰哲学家大卫·休谟指出，归纳的唯一合理性证明本身就是归纳性的，这不仅说明归纳无法通过演绎来证明，而且其证明是循环的，情况更糟。

无免费午餐定理也指出了相关问题，即在所有可能的分类问题上评估时，没有一种学习算法能优于其他算法，因此任何学习算法在所有可能的学习问题集上的表现都不比随机猜测好。例如心理测试中常见的“猜下一个数字”问题，如果所有数字序列的可能性相同，那么平均而言，我们无法比随机猜测做得更好。不过，在现实世界中，学习问题的分布是高度不均匀的，摆脱无免费午餐定理诅咒的方法是了解这种分布，并在选择学习算法时利用这些知识。

2. 机器学习模型概述

模型是机器学习的核心概念，是从数据中学习以解决特定任务的产物。机器学习中有大量的模型可供选择，这是因为机器学习旨在解决的任务广泛，如分类、回归、聚类、关联发现等，这些任务几乎在科学和工程的每个分支都能找到实例。不同领域的专业人士都为解决这些任务做出了贡献，导致模型的原理也多种多样。虽然这种多样性使机器学习成为强大而令人兴奋的学科，但也增加了系统讨论模型的难度。不过，我们可以将模型大致分为三类：几何模型、概率模型和逻辑模型，这些分类并非相互排斥，有时一个特定的模型可能同时具有几何和概率解释。