AI_000916的博客

在自然语言处理中，语言模型是一个非常重要的模型

机器学习是人工智能领域最活跃的分支之一，作为多学科交叉的重要工具，为计算机领域解决实际学习问题提供了理论支撑与应用算法。近年来，机器学习在互联网应用中崭露头角，计算机视觉、自然语言处理、推荐系统、搜索系统等积累了大量的数据和丰富的场景，促进了包括机器学习在内的诸学科的发展与繁荣。与此同时，机器学习的快速发展，也让我们切实领略了人工智能给人类生活带来各种改变的潜力。

在企业中，技术人员会将商品的价格、品牌等作为输入来预测商品的销量，甚至通过上市公司的财报、行业信息等来预测公司股票价格的变化。它们的共同点是通过输入来预测输出。在机器学习中，这类业务有一个专门的名字——回归（Regression）。回归是指通过大量已知数据发现输入 x 和输出 y 的内在关系，并对新的输入进行预测。发现内在关系后，就可以通过它来预测新的输入 x 所对应的输出 y^'。在本章中，我们用 y 表示真实的输出，用 y^' 表示预测的输出。在使用回归前，需要假设 y^' 和 x 之间的关系类型。

线性回归是指特征 x 通过模型运算得到预测值 y^'。在理论上，y^' 的取值范围是 (-∞,+∞)，即 y^' 可以是任何值，例如销量、价格、负债等。在回归任务中，有一类特殊场景值得注意，就是预测概率。概率可用于解决分类问题。在这类场景中，模型的输出是输入样本属于某个类别的概率。例如，输入的是用户消费习惯和商品特征等信息，输出的概率 p 表示用户是否会购买商品。再如，输入的是一幅图片，输出的概率 p 表示该图片是否包含人脸。

输入为 x=〖[x_1,x_2]〗^T，x_1=0 表示女性，x_1=1 表示男性，x_2=0 表示女鞋，x_2=1 表示男鞋，输出 y 表示用户的购买概率，特征分布如图4-1所示。同理，在计算 x_1,2 的系数 w_1,3 时，可以解耦成 v_1 和 v_3，v_3 和特征 x_3 有关。w_0+w^T x 对应于逻辑回归，∑_(h=1)^k▒(1/2 [(∑_(i=1)^m▒〖v_(i,h) x_i 〗)^2-∑_(i=1)^m▒(v_(i,h) x_i )^2 ]) 对应于新增的特征。

通过前面的学习我们知道，逻辑回归其实就是在平面上通过画直线进行二分类，其学习过程就是通过梯度下降法在训练数据中寻找分类线。当训练数据线性可分时，能够正确进行分类的分类线有无数条，不同的分类线对应于不同的 w 和 w_0 及不同的 Loss，如图5-1所示。图5-1在图5-1中，直线 L_1 和 L_2 都可以把训练数据完美地分成两类，但哪条更好呢？Loss 最小的直线一定是最好的吗？我们可以从几何的角度审视这个问题。直线 L_2 与一些数据点的距离相对较近，如果测试集中的数据点发生轻微的移动（特征轻微变化）

本书前面提到的各种模型，无论是回归还是分类，在训练阶段都有一个共同的前提条件，即需要有标注的训练样本。标注数据会告诉模型，“对这条数据，输入 x 后，我想要结果 y”。模型会根据要求，使用梯度下降法或其他求解方式，不断调整自身参数，使输出 y^' 尽可能接近标注 y。这类学习统称为有监督学习。标注 y 就是监督信号（也称为教师信号），用于告诉模型数据 x 所对应的正确类别 y。在企业中，标注数据的来源一般是人工标注，以及收集的用户反馈信息。不过，现实很“残忍”。

在现实生活中，我们每天都会面对各种抉择，例如根据商品的特征和价格决定是否购买。不同于逻辑回归把所有因素加权求和然后通过Sigmoid函数转换成概率进行决策，我们会依次判断各个特征是否满足预设条件，得到最终的决策结果。例如，在购物时，我们会依次判断价格、品牌、口碑等是否满足要求，从而决定是否购买。决策的流程，如图7-1所示。图7-1可以看到，决策过程组成了一棵树，这棵树就称为决策树。在决策树中，非叶子节点选择一个特征进行决策，这个特征称为决策点，叶子节点则表示最终的决策结果。在上例中，我们只是根据经验主观建立

单个训练样本 {x_((i) ),y_((i))} 在神经网络上的输出为 y_((i))^'=[y_((i),1)^',⋯,y_((i),C)^' ]^T，它是一个 C×1 维的向量；不同于分类任务将数据标注为 {x_((i) ),y_((i) )}，在度量学习中，x_((i) ) 为模型的输入，y_((i)) 为预测值，标注数据由样本对给出，即。类别的概率之和为1。在深度学习中，越靠前（l 的值越小）的层，〖∂Loss〗_((i) )/(∂W^((l)) ) 的累乘项就越多，越容易发生梯度爆炸（消失）。

在深度学习出现之前，经典机器学习方法的工作重心都在上。好的特征往往能让特征提取事半功倍。不过，特征提取依赖人的业务经验和对场景的理解，并且特征不具备通用性，往往是“特事特办”。深度神经网络开创了机器学习的新时代，在很多领域给出了相对通用的解决方案，其应用可以说是遍地开花。图像领域的CNN，NLP领域的Word2vec、LSTM，包括近几年出现的Attention、Transformer等技术，都在各自擅长的领域大放异彩。深度学习出现后，工程师们不用再“处心积虑”地去提取特征以追求一点点的进步了。