大模型 DAY1：整体架构

1. 大模型整体架构

经典论文 Attention Is All You Need 中提出的 Transformer 架构，成为了大模型的架构基础。

1.1 分词 

1.1.1 分词介绍

1. 分词目的：将输入文本分成一个个词元，保证各个词元拥有相对完整和独立的语义，以供后续任务（比如学习 embedding 或者作为高级模型的输入）使用。

2. 分词的三种粒度：
   a. 词粒度（word）：英文天然空格分开词汇，中文可以使用 jieba 分词工具 优点：词的边界和含义得以保留 缺点：i. 词粒度的词表由于长尾效应可能会非常大，包含很多的稀有词，存储和训练的成本都很高，并且稀有词往往很难学好 ii. OOV (out of vocabulary) 问题，对于词表之外的词无能为力 iii. 无法处理单词的形态关系和词缀关系。同一个词的不同形态，语义相近，却被完全当作不同的单词，不仅增加了训练成本，而且无法很好地捕捉这些单词之间的关系；同时，也无法学习词缀在不同单词之间的泛化。