weixin_49206002的博客

词向量就是把词、句、文段通过向量的形式表示出语义信息。比如猫和狗在向量相似度上就比猫和苹果要近。词向量的优势是可以通过向量存储、相似度语义上的查询（而非关键词搜索）；同时可以将多模态的信息映射成统一的向量形式。langchain内置了llama 千帆等emdedding但并没有包含所有大模型。

大模型是通过概率预测下一个词的生成来组织输出的，将数值的概率变成最终的字符就是采样策略（也就是选择哪个词作为下一个的输出）。当温度较低时，候选词的概率分布差异大，模型就更容易选择概率较大的值，输出就更稳定，反之，输出就更有创造性。如果任务包含不一定能满足的假设（条件），我们可以告诉模型先检查这些假设，如果不满足，则会指出并停止执行后续的完整流程。system prompt是对大模型基调的定性，在整场回会话任务中规范着模型的输出，一般就只有一个。可以看到，通过分隔符，命令是命令，待处理是待处理，不会混淆。

大模型是大规模参数和复杂计算结构的模型，参数达到十亿乃至上千亿。当参数变多，模型就会出现涌现能力。GPT系列是OpenAI的大语言模型，采用Transformer模型的编码器，而BERT采用解码器。编码器和解码器的作用编码器：捕捉输入序列的语义信息，通过自注意力层和前馈神经网络层处理输入词汇，以捕捉词汇间的依赖关系和语义信息。解码器：根据编码器的输出和之前的输出生成目标序列，通过自注意力层和前馈神经网络层进行多轮预测，生成新的输出序列。BERT。