大模型第一章

1、大模型的回答工作流程

1、输入文本分词化

• 分词（token）是大模型处理文本的基本单元，通常是词语，词组或者符号

2、token向量化

• 计算机无法理解文字，因此需要将token转换成数据，此过程即为向量化

3、大模型推理

• 大模型通过已有的训练来进行推理，它会计算所有可能token的概率，得到候选token的概率集合，大模型通过计算选出一个token作为下一个输出

4、输出token

• 大模型根据候选token的概率进行随机挑选，，可以通过temperature和top_p这两个参数来调整内容随机性

5、输出文本

• 将token输出为文字

2、影响大模型内容生成的随机性参数

1、temperature（0 - 2）

temperature是一个调节器，它通过候选token的概率分布，影响大模型的内容生成，通过此参数，可以灵活的控制生成文本的多样性和创造性

• 明确答案：调低参数（0.8 -> 0.6 -> 0.3）

• 创意多样：调高参数（0.1 -> 0.7 -> 1.2）

• 无特殊需求默认即可

注：当 temperature=0 时，虽然会最大限度降低随机性，但无法保证每次输出完全一致

2、top_p

控制候选token集合的采样范围，

工作流程：

按概率从高到底排序，选取累计概率达到设定阈值的token组成新的候选集合，从而缩小选择范围

• 值越大：候选范围越广，内容更多样化，

• 值越小：候选范围越窄，输出更稳定

• 极小值（如0.0001）：可能有微小的随机性，无法保证每次输出完全一致

为了确保生成内容的可控性，建议不要同时调整top_p和temperature，同时调整可能输出结果不可预测

3、上下文工程

1、上下文窗口：

• 大模型接收输入（包括指令，问题和背景知识）的地方，被称为上下文窗口，可以理解为计算机的内存

2、上下文工程核心技术：

• RAG（检索增强生成）：从外部知识库中检索信息，为模型提供精准的回答依据

• prompt（提示词工程）：通过精心设计的指令，精确的引导模型的思考方式和输出格式

• tool（工具试用）：赋予模型调用外部工具的能力，以获取实时信息或执行特定任务

• memory（记忆机制）：为模型建立长短期记忆，能够在连续对话中理解历史上下文

4、RAG（检索增强生成）

第一阶段：建立索引

• 建立索引是为了将私有知识文档或片段转换为可以高效检索的形式，通过将文件内容分割转化为多维向量，并结合向量存储保留文本的语义信息，方便进行相似度计算

第二阶段：检索与生成

• 检索与生成是根据用户的提问，从索引中检索相关的文档片段，这些片段会与提问一起输入到大模型生成最终的回答。

总结：

基于RAG结构的应用，即避免了将整个参考文档作为背景信息输入而导致的各种问题，又通过检索提取出了与问题最相关的部分，从而提高了大模型输出的准确性。