Office hour 2-自然语言处理

主要涉及**自然语言处理（NLP）**的多个方面，包括发展历程、神经网络模型、大语言模型、以及实际应用。

01 - NLP的发展历程

1. 1950 - 1969：

• 机器翻译研究：NLP的研究始于机器翻译，探索计算机如何处理和翻译语言。最初的研究尝试通过规则和字典进行翻译，但效果有限。

2. 1970 - 1980：

• 基于规则的方法：在这一时期，NLP研究依赖于手工制定的规则和知识库来解决语言理解问题。专家系统和基于规则的系统成为主流，人工编码语言的规则进行处理。

3. 1990 - 2000：

• 统计方法的兴起：随着计算能力的提高和数据量的增加，基于统计的学习方法逐渐取代了基于规则的方法，成为NLP的主流。此时期的NLP主要依赖统计模型（如N-gram模型）来分析文本。

4. 2010至今：

• 深度学习的兴起：深度学习在NLP中的应用带来了革命性的进展。特别是卷积神经网络（CNN）和循环神经网络（RNN）等模型使得计算机在语言理解和生成方面取得了巨大突破。

02 - 神经网络模型

1. MLP

• 多层感知机（MLP）：MLP由多个层组成，每层由多个神经元组成，每个神经元的输出是其输入的加权和，通过激活函数得到最终输出。常用于分类和回归任务

 

（1）输入层（Input Layer）：

• 输入层是神经网络的第一层，接收来自外部的数据输入。每个节点（神经元）对应输入数据中的一个特征。输入层的任务是将数据传递到网络的后续层。

• 输入层不进行任何计算，它只是一个数据的传递站。

（2）隐藏层（Hidden Layers）：

• MLP 中通常包含一个或多个隐藏层。每个隐藏层由多个神经元组成，这些神经元之间是全连接的（即每个神经元与上一层的所有神经元都有连接）。

• 计算过程：每个神经元会接收上一层所有神经元的输出，并通过加权求和的方式进行处理。这个求和的结果会通过激活函数（如ReLU、Sigmoid或Tanh等）进行非线性变换，从而增加网络的表达能力。

• 多个隐藏层的作用：多个隐藏层能够使网络学习到数据中的高层次特征，捕捉更加复杂的模式。

（3）输出层（Output Layer）：

• 输出层是神经网络的最后一层，其作用是将隐藏层的信息转化为最终的输出。对于分类任务，输出层通常采用 softmax 函数，将结果映射为类别的概率分布；对于回归任务，输出层则可能是一个单一的节点，输出一个连续值。

MLP的工作原理

（1） 前向传播（Forward Propagation）：

• MLP 中的信息流动是单向的，即从输入层开始，经过每一层的计算，直到输出层。前向传播的过程是将输入数据传递并计算出最终输出。

• 每一层的计算都会涉及到一个加权和操作（即输入数据和层的权重矩阵的乘积），并通过激活函数进行处理。

（2） 激活函数（Activation Function）：

• 激活函数在 MLP 中至关重要。它引入了非线性，使得神经网络能够学习并表示复杂的模式和关系。常见的激活函数包括&#