12、大语言模型：Transformer、BERT与GPT深度解析

大语言模型：Transformer、BERT与GPT深度解析

1. 情感分析与Transformer模型

情感分析可用于确定客户对特定产品或事件的情感倾向。例如：
| 句子 | 情感倾向 |
| ---- | ---- |
| “I really liked the pizza.” | 积极 |
| “I don’t enjoy driving every day.” | 消极 |
| “The movie was great, but the ticket prices were too high.” | 复杂（有积极有消极） |

若将消极、中性、积极的短语或句子分别赋值为 -1、0、+1，对于 “The movie was great, but the ticket prices were too high.” 这句话，简单赋值为 0 是没有意义的，因为积极和消极的情感不能简单抵消。

Hugging Face 提供了包含许多基于 Transformer 模型开源代码的 Github 仓库： https://github.com/huggingface/transformers/blob/main/src/transformers/models/ 。部分基于 Transformer 的模型如下：
- albert
- bart
- bert
- bert_generation
- bert_japan