机器学习的算法和普通《算法导论》里的算法有什么本质上的异同

最新推荐文章于 2025-10-20 11:31:05 发布

转载最新推荐文章于 2025-10-20 11:31:05 发布 · 5.9k 阅读

50 篇文章

订阅专栏

本文探讨了机器学习算法与《算法导论》中传统算法的本质异同。两者都旨在解决问题，通过设定目标并求最优解。主要区别在于机器学习侧重于连续优化问题，如凸优化，而传统算法更关注组合优化。

机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？

本人非计算机专业出身，对这些方向感兴趣，所以有此一问。曾经问过一些人，说是机器学习全是数学，是用数学的方式试图去描述和理解我们的世界，而《算法导论》里的这些算法主要是如何用计算机的思维去处理一些实际的问题。我似懂非懂，还是没能抓住最根源上的东西。希望能有一些专业的，通俗的回答，谢谢了

区别不大。算法的目的都是一样的：定一个目标，加一些约束，求一个比较好的结果。

相同点：算法是用来求解优化模型，《算法导论》和机器学习在这一点上是一回事。
区别：《算法导论》里几乎都是组合优化；而机器学习里主要是连续的问题，凸优化较多，也有很多非凸优化。机器学习算法自然大都是梯度下降、坐标下降、蒙特卡洛这样的算法，与《算法导论》里的算法长得很不像。
是机器学习里也有组合优化，比如聚类、比如概率图模型。在这一点上，跟算法导论区别不大。

为什么《算法导论》里大多是组合优化？我拿排序问题举个栗子。

如果你能理解排序是个组合优化问题，你肯定能理解网络流、最短路等等问题都是组合优化。

拿机器学习里常用的最小二乘回归对比一下。

机器学习里也有组合优化，比如k-means。

==========

注意，method和algorithm是两个东西。例如，

k-means是method，有几种优化问题model，有很多求解的algorithms。你们最常用的那种迭代算法是Lloyd Algorithm。
LDA是method也是model（这种method就一种model），这个model的求解是个NP Hard的问题（我记得Arora文章里证明过）。有很多种算法求解LDA，比如variational inference、MCMC、tensor decomposition。
word2vec是method，用来解决NLP的一些问题；有很多models，比如skip-gram、深度学习；每种model都有很多算法求解。

把method和algorithm混为一谈是典型的“野路子”从业人员的特征。比如，很多人喜欢把Lloyd算法称为kmeans。

经提醒，method和model有区别，但是界限不明，很多时候可以混用。但是algorithm和method绝对不能混用。