IST-CTO

在 Transformer 模型中，Transformer 模型采用了自注意力机制，这是模型的主要组成部分之一。自注意力机制是模型的自我理解和记忆的能力，可以有效地捕捉到文本中的重要信息和关系，进一步提高了模型的性能。然而，虽然自注意力机制在很多方面都很强大，但它也有一些缺点。本文旨在探讨自注意力机制的一些缺点及其解决方案。

多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层。

我们发现通过深度学习框架的高级API能够使实现线性回归变得更加容易。 同样，通过深度学习框架的高级API也能更方便地实现softmax回归模型。

分类问题通常分为两类：硬分类和软分类；硬分类：只对样本的“硬性”类别感兴趣，即属于哪个类别；软分类：即得到属于每个类别的概率；这两者的界限往往很模糊，因为即使我们只关心硬类别，我们仍然使用软类别的模型。文章目录1.1.1 分类问题1.1.2 网络架构1.1.3 全连接层的参数开销1.1.4 softmax运算1.1.5 小批量样本的矢量化1.1.6 损失函数1.1.7 信息论基础1.1.8 模型预测和评估1.1.1 分类问题常见的分类问题：某个电子邮件是否属于垃圾邮件文件夹？某个

文章目录基本概率论概率论公理随机变量联合概率条件概率贝叶斯定理边际化独立性期望和方差基本概率论假设我们掷骰子，想知道看到1的几率有多大，而不是看到另一个数字。 如果骰子是公平的，那么所有六个结果 {1,…,6} 都有相同的可能发生， 因此我们可以说 1 发生的概率为 1/6 。然而现实生活中，对于我们从工厂收到的真实骰子，我们需要检查它是否有瑕疵。 检查骰子的唯一方法是多次投掷并记录结果。 对于每个骰子，我们将观察到 {1,…,6} 中的一个值。 对于每个值，一种自然的方法是将它出现的次数除以投掷的总

了解线性回归的关键思想之后，始通过代码来动手实现线性回归。

在学习深度神经网络之前，需要了解神经网络训练的基础知识。 包括：定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。 为了更容易学习，从经典算法————线性神经网络开始，了解神经网络的基础知识。

简单介绍线性代数中的基本数学对象、算术和运算，并用数学符号和相应的代码实现来表示它们。

深度学习是机器学习的一个主要分支，为了更好的学习深度学习，需要掌握一些基本的机器学习的知识。