模型优势缺陷整理

（1）BERT

1. 计算资源消耗：bert模型是一个相对较大的模型，具有数亿个参数。因此，为了训练和使用bert模型，需要大量的计算资源和时间。

2. 学习不足问题：尽管bert模型在大规模语料库上进行了预训练，但在某些任务上，它可能会出现学习不足的问题，导致性能下降。否定学习能力差。

3. 处理长文本困难：bert模型只能处理长度较短的文本，而不能直接处理超过512个标记的文本。

4. 预训练数据集限制：bert模型的预训练数据集主要来自于英文****等大型英语语料库，并且对其他语言的支持相对较少，这可能会影响其在其他语言上的性能表现。

（2）Transformer

1. 需要大量的计算资源：transformer模型通常比传统的循环神经网络（rnn）和卷积神经网络（cnn）更复杂，并且需要更多的计算资源和存储空间，使得训练和部署变得更加困难。

2. 输入长度限制：由于transformer模型是基于自注意力机制实现的，输入序列中所有的标记都需要同时考虑到，因此在处理长序列时，可能会遇到内存限制或计算效率低下等问题。

3. 数据稀疏性问题：对于某些应用场景，如推荐系统，数据往往是非常稀疏的。然而，由于transformer模型是建立在密集向量上的，这可能会导致在处理稀疏数据时性能下降。

4. 过拟合风险：由于transformer模型具有非常强的表示学习能力，当训练数据不充分或噪声较大时，可能会出现过拟合的问题。因此，在训练和部署transformer模型时，需要注意数据质量和模型正则化等问题。

（3）GNN

1. 局限性：GNN模型依赖于图结构，因此不适用于非图结构数据。此外，它们只能处理静态图，无法很好地适应动态环境。 

2. 计算复杂度高：由于每个节点的邻居节点数不同， 进行相互之间特征聚合的计算量较大，导致GNN模型的训练和推理速度较慢。

3. 超参数选择问题：gnn模型有许多超参数需要调整，例如网络架构、损失函数、学习率等，这需要大量的实验来找到最佳的超参数组合，消耗时间和计算资源。 

4. 过