19、自然语言处理中的Transformer与大语言模型应用

自然语言处理中的Transformer与大语言模型应用

1. 技术概述

在自然语言处理（NLP）领域，Transformer和大语言模型（LLMs）目前是表现最优的技术。不过，这并不意味着之前的方法就过时了，具体项目需求不同，一些简单的方法可能更实用或更具成本效益。

1.1 技术资源

运行相关示例需要用到以下开源软件库和资源：
- Tensorflow机器学习库：hub、text和tf - models
- Python数值计算包NumPy
- Matplotlib绘图和图形包
- IMDb电影评论数据集
- scikit - learn的sklearn.model_selection用于训练、验证和测试集的划分
- 来自TensorFlow Hub的BERT模型，如’small_bert/bert_en_uncased_L - 4_H - 512_A - 8’

为了避免对计算机性能要求过高，这里使用的模型相对较小。示例在配备Intel 3.4 GHz CPU和16 GB RAM的Windows 10机器上进行了测试，无需单独的GPU。当然，更多的计算资源可以加快训练速度并支持使用更大的模型。

1.2 传统方法的局限

在NLP中，循环神经网络（RNNs）是一种有效的方法，它能考虑输入元素的顺序，通过将前一输出作为后续层的输入来保留早期输入的记忆。但在处理长文档时，由于自然语言的上下文相关性，早期输入对当前输入的影响会随着处理的进行迅速减弱，导致早期信息对后期处理的影响不大。

为解决这个问题，出现了一些初步尝试，如长短期记忆网络（LST