Go与神经网络：线性回归

离发表上一篇与机器学习相关的文章《Go与神经网络：张量运算》^[1]已经过去整整一年了，AI领域，特别是大模型领域的热度不仅未有减弱，反而愈演愈烈。整个行业变得更卷，竞争更加激烈，大模型你方唱罢我登场，层出不穷，各自能力也都在不断提升，并在自然语言处理、问答、生成等方面展现出强大的能力。同时基于RAG(Retrieval-Augmented Generation)^[2]等技术，大模型还可以实时检索相关知识并融合到生成结果中，进一步提升了大模型在专业领域的应用价值。

很多人说用好大模型不必非要了解大模型的底层原理，也许这句话是对的。但对于后端程序员的我来说，对底层原理的不理解，始终让我有一种“不安全感”。我认为即使大模型的使用变得日益简单和广泛，但如果我们无法深入理解其工作机制，恐怕还是难以充分发挥它们的潜力，甚至无法准确评估它们的局限性和风险。

但对大模型原理的学习是一个循序渐进的学习过程，我们不能一蹴而就地达到对大模型原理的深入理解。我决定从最基础的机器学习入手，从传统机器学习解决问题的一般步骤开始，以线性回归这个传统传统机器学习的"Hello, World"示例为切入点，逐步探讨机器学习的基本概念和实现流程，这也是本篇文章的初衷与主要内容。

1. 机器学习的那些事儿

1.1 人工智能的诞生

相对于机器学习（Machine Learning，ML），普通大众更熟悉“人工智能（Artificial Intelligence，AI）^[3]”这个字眼儿。

就像一千个人眼中有一千个哈姆雷特，每个人对人工智能的理解都不尽相同：有些人将其看成一个学术领域，有些人视之为人类文明下一个要实现的目标，懵懂无知的少年会将其想象为那种高大威猛的机器人（其实是隶属于具身智能^[4]，人工智能和机器人学^[5]的一个跨学科分支），而还有些人认为它是空中楼阁，永远无法实现。

作为程序员，我们更聚焦工程领域。而工程领域主要是消化学术领域的研究，将其实现落地并应用于人类生活的方方面面。那么学术领域是如何定义人工智能的呢？人工智能专家Stuart Russell^[6]和Peter Norvig^[7]在他们的联合著作《人工智能：现代方法（第4版）》中将人工智能定义为对从环境中接收感知并执行动作的智能体(Agent)的研究，并强调每个这样的智能体都要实现一个将感知序列映射为动作的函数。

对人工智能的定义虽然内容不长，但这里面却蕴含着计算机科学家对人工智能几十年的探索历程与尝试。

人工智能的概念始于20世纪50年代。1950年，阿兰·图灵（Alan Turing）^[8]发表了《计算机器与智能^[9]》一文，提出了著名的图灵测试^[10]。但人工智能一词的正式提出还要等到6年后的1956年达特茅斯会议。对于人工智能领域而言，这是堪比理论物理学界1927年比利时第五届索尔维会议（如下图）^[11]的一次会议。约翰·麦卡锡（John McCarthy）、马文·闵斯基（Marvin Minsky，人工智能与认知学专家）、克劳德·香农（Claude Shannon，信息论的创始人）、艾伦·纽厄尔（Allen Newell，计算机科学家）、赫伯特·西蒙（Herbert Simon，诺贝尔经济学奖得主）等科学家正聚在一起，讨论着一个完全不食人间烟火的主题：用机器来模仿人类学习以及其他方面的智能。会议足足开了两个月的时间，虽然大家没有达成普遍的共识，但是却为会议讨论的内容起了一个名字：人工智能。因此，1956年也就成为了人工智能元年。

1927年比利时第五届索尔维会议合影

1.2 符号主义：早期的人工智能实现路径

在人工智能的早期探索阶段，研究主要集中于符号主义（Symbolism）和逻辑推理。这种方法使用符号来表示知识和问题，并通过逻辑推理来解决问题。这种方法依赖于明确的规则和符号系统来进行推理和决策。

逻辑推理是符号主义的核心，它使用逻辑规则来进行推理和决策。逻辑推理包括演绎推理、归纳推理和溯因推理：

• 演绎推理：从一般规则推导出特定结论（例如，从“所有人都会死”推导出“苏格拉底会死”）。

• 归纳推理：从特定实例推导出一般规则（例如，从“苏格拉底会死”推导出“所有人都会死”）。

• 溯因推理：从结果推断出可能的原因（例如，从“苏格拉底死了”推断出“他是人”）。

LISP语言^[12]在符号主义和逻辑推理盛行的阶段发挥了重要作用，其强大的符号处理能力、递归和动态特性、交互式开发环境以及宏和元编程功能使其成为AI研究和开发的主要工具。其他语言如Prolog和Scheme也在特定领域中提供了重要支持。

虽然在机器学习大行其道的今天，符号主义系统不受待见了，但不可否认符号主义系统也有很多优点：

• 可解释性：符号主义系统的推理过程透明、易于理解。

• 明确规则：使用明确的规则和逻辑，使得系统行为可预测。

• 可靠性：在明确定义的领域内，符号主义系统可以提供可靠的推理结果。

不过，它的缺点也很明显：

• 局限性： 依赖于预定义的规则和知识库，难以处理复杂和动态的环境。

• 知识获取： 知识工程需要大量人工干预，获取和维护知识库成本高。

正是由于这些这些不足，以及当时计算能力和数据存储的限制，AI研究在1970年代遇到了障碍，进入了第一次“AI寒冬”。许多早期的承诺未能实现，资金和兴趣减少。

1980年代，符号主义和逻辑推理迎来了第二次巅峰：知识工程和专家系统。专家系统是计算机程序，旨在模仿人类专家的决策能力。它们在特定领域内使用显式编码的知识库和推理引擎来解决复杂问题或提供建议。第一个成功的商用专家系统R1在数字设备公司(Digital Equipment Corporation，DEC)投入使用(McDermott, 1982)，该程序帮助公司配置新计算机系统的订单。截至1986年，它每年为公司节省约4000万美元。到1988年，DEC的人工智能小组已经部署了40个专家系统，而且还有更多的专家系统在开发中。但事实证明，为复杂领域构建和维护专家系统是困难的，一部分原因是系统使用的推理方法在面临不确定性时会崩溃，另一部分原因是系统无法从经验中学习。专家系统的局限性和开发维护成本直接也导致了第二次“AI寒冬”的到来。

在两次AI的兴起和“寒冬”中，先行研究者们开发了许多基础性的算法和系统。这些早期研究不仅解决了特定问题，还为AI的理论和实践发展奠定了重要的基础。随着计算能力和数据资源的增加，AI研究逐渐从符号主义转向数据驱动的方法，但这些早期成果仍然具有重要的历史和学术意义。

1.3 数据驱动与机器学习

数据驱动方法依赖于大量数据，通过从数据中学习模式和关系来进行预测和决策。这种方法不依赖于明确的布尔逻辑和规则，而是通过统计和算法来从数据中提取知识，即基于机器学习而不是手工编码。

1990年代至2000年代，随着计算能力的提升和数据量的增加，机器学习（ML）逐渐成为AI的主要方法。基于统计学和概率论的算法（如支持向量机和决策树）获得了成功。大数据的可用性和向机器学习的转变帮助人工智能恢复了商业吸引力。大数据是2011年IBM的Watson系统在《危险边缘》(Jeopardy!)问答游戏中战胜人类冠军的关键因素，这一事件深深影响了公众对人工智能的看法。

《人工智能：现代方法（第4版）》是这样定义机器学习的：如果一个智能体通过对世界进行观测来提高它的性能，我们称其为智能体学习(learning)。学习可以是简单的，例如记录一个购物清单，也可以是复杂的，例如爱因斯坦推断关于宇宙的新理论。当智能体是一台计算机时，我们称之为机器学习(machine learning)：一台计算机观测到一些数据，基于这些数据构建一个模型(model)，并将这个模型作为关于世界的一个假设(hypothesis)以及用于求解问题的软件的一部分。不通过合适的方式编程来解决，而是希望一台机器自主进行学习并解决问题，其原因主要有两个：

• 程序的设计者无法预见未来所有可能发生的情形。比如一个被设计用来导航迷宫的机器人无法掌握每一个它可能遇到的新迷宫的布局。

• 有时候设计者并不知道如何设计一个程序来求解目标问题。比如识别人脸。

可以说，机器学习是另外一种实现人工智能的路径（前一种是符号主义和逻辑推理），它是一类强大的可以从经验中学习的技术。通常采用观测数据或与环境交互的形式，机器学习算法会积累更多的经验，其性能也会逐步提高。

机器学习的兴起同样离不开早期研究者的成果：

• 感知机（1957）： Frank Rosenblatt 设计的感知机是第一个用于分类任务的人工神经网络模型，能够学习二分类任务。感知机也被视为一种最简单形式的前馈式人工神经网络。

• K均值聚类（1967）： James MacQueen 提出的K均值聚类算法，是最早的聚类分析方法之一。

• 决策树（ID3, 1986）： Ross Quinlan 提出的 ID3 算法，是决策树学习的基础。

• 支持向量机（1992）： Vladimir Vapnik 和 Alexey Chervonenkis 提出了支持向量机，为高维数据分类问题提供了强有力的解决方案。

• 多层感知器（1986）： 由 Geoffrey Hinton 等人推广的反向传播算法（Backpropagation），使得训练多层神经网络成为可能。

• 梯度提升树（2000）： Jerome Friedman 提出的梯度提升树（Gradient Boosting Machines），在分类和回归任务中表现出色。

• 随机森林（2001）： Leo Breiman 提出的随机森林算法，通过集成多个决策树提高了模型的准确性和鲁棒性。

进入2010年后，在大规模数据集以及GPU硬件加速的赋能下，深度神经网络逐渐成为主流且表现卓越的机器学习方案，深度学习走向前台：

• AlexNet（2012）： Alex Krizhevsky 等人在 ImageNet 大赛上使用卷积神经网络（CNN）赢得了第一名，推动了深度学习在计算机视觉中的应用。

• 生成对抗网络（GAN, 2014）： Ian Goodfellow 等人提出的生成对抗网络，开启了生成模型的新方向。

• BERT（2018）： Google 提出的双向编码器表示（BERT）模型，在自然语言处理任务中取得了突破性进展。

• Transformers（2022）：Transformers模型及其变种在自然语言处理、图像处理等多个领域取得了显著进展，典型代表是ChatGPT的推出。

1.4 人工智能关系图

基于上面的说明，我们下面用一张图说明一下人工智能、机器学习、神经网络以及深度学习的关系：

而神经网络是支撑机器学习的重要技术，是深度学习的核心技术。关于神经网络，我们会在后面的系列文章中重点说明。

网络上也有一个图，可以更详细地展示各个范围内的具体技术，大家也可以参考一下：

1.5 机器学习的本质

机器学习就是从数据中发现规律，发现的这个规律就是“模型”， 更具体来说就是一个或一组复合在一起的函数。而发现规律的这个过程就叫“学习”或叫“训练”。这个过程与人类学习的有些相似：

人类和机器都需要输入信息来开始学习。人类通过感官感知信息，机器通过传感器或数据集获取数据。人类通过理解和记忆进行学习，机器通过训练数据调整模型参数进行学习。人类在大脑中存储知识和经验，机器在模型参数和结构中存储学到的模式和规则。人类根据实践中的反馈调整和改进知识，机器根据评估和实际应用中的反馈调整模型参数和结构。两者尽管实现手段不同，但核心思想都是从输入数据中学习知识和模式，通过反馈进行调整和改进，并不断适应新的环境和问题。

上图中使用神经网络的形式呈现了学习/训练后的模型，其实在一些传统机器学习的简单场景下，训练后的模型可能就是一个简单的一元线性函数，比如：f(x) = wx + h。

训练后的模型便可以应用于真实环境中的数据，进行推理和预测（serve/predict）。比如说，一个经过大量真实病历数据训练后得到医疗诊断模型，就可以用来预测和诊断新的病患情况了。

到这里，你可能依然对机器学习一知半解。别着急，之前我也是这样，就想亲手训练一个模型来直观体会一下什么是机器学习。接下来，我们就来训练一个Hello，World级别的模型，不过在真正动手之前，我们还是要先来了解一下机器学习中的术语（“黑话”）与训练的一般步骤。

2. 机器学习的术语与一般步骤

机器学习本身就有不低的门槛，因此我们将由浅入深的来学习机器学习的术语，并简要说明一下机器学习项目的一般步骤。

2.1 特征、标签与模型

在下图中，我们以一个简单的多元线性回归模型（即一个多元一次函数）来说明一下一些机器学习中常见的术语：

我们先介绍与数据有关的几个重要术语，其他在后面说明机器学习的一般步骤时，结合具体的场景再行讲解。机器学习离不开数据，如上图中左上角的表格就是“喂给”机器学习训练的**训练数据集(training dataset )**。

上图中的数据集是一个常见的房价相关数据，该数据集有三条数据，它们组成了该数据集的数据样本。表中每条数据有三个影响房价的“因子”：居住面积、离市中心距离和建成时间（也就是房龄），这些因子共同决定了房子的价格。在机器学习中，我们称这些“因子”为**特征(feature)。而房价则被称为标签(label)**。从数据来看，这三个特征表现出明显的与房价(y)的相关性，如下图：

机器学习的目的就是找到通过特征预测标签的函数（即模型），然后将得到的函数应用于生产中进行标签预测。特征是机器学习模型的输入，标签是机器学习模型的输出。无论是在训练阶段，还是在预测阶段。特征的个数称为特征的维度，维度越高，数据集越复杂。

了解完特征、标签和模型后，我们来看看机器学习项目的一般步骤，更具体来说就是机器学习训练的步骤，一旦训练ok，得到模型，模型应用就比较简单了。

2.2 机器学习训练的一般步骤

上图展示了机器学习训练的一般步骤，我们逐个说明一下。

2.2.1 数据收集与预处理

就像人类要从各种资料（书籍、媒体等)中学习一样，机器也要从数据中学习。没有数据，机器学习就无从谈起。数据也是通过机器学习解决生活中实际问题的前提。

数据收集渠道有多种，有爬取互联网