Abmaj7的博客

1初始化Role1.1创建RoleContext等1.2初始化actions，初始化states1.3添加Action监听2.1将msg存到memory中2.2执行react2.2.1开启循环，当react循环次数达到上限，或者todo为空时，推出循环2.2.2_think：根据角色对应的prompt前缀，以及memory，让大模型给出下一步的Action，并且更新state和todo。

人类反馈：让大模型主动征求人类对场景的反馈能力，然后代理将人类的反馈加入到提示中，从而实现更加明智的规划和推理。1）外部工具：各种Tool，比如知识数据库，比如搜索引擎，比如HTTP工具，比如计算器，比如地图工具，图表工具等等。-模型反馈：类似于ReAct的自我完善机制，即输出-反馈-完善不断重复，直到达到某些理想的条件。一般存储稳定的知识。主观评价：人工注释，图灵测试（看人类能否区分代理和人类生成的结果，若不能，说明效果好）相当于对话的上下文（历史会话），一般会作为LLM的提示，充当代理的短期记忆。

例如，当我们查找和A最相似的向量时，由于在所有的中心点中，A离蓝色块的中心点C最近，所以接下来会去蓝色块中去查对应的相似向量，而实际上，与A相似度最高的向量（也就是离A最近的向量），是B，在紫色块内，所以，无论在蓝色块中怎么查，都无法查到相似度最高的向量，就出现了遗漏的问题。对于更高维度的向量，道理也是一样的，比如三维向量，我们可以使用三维空间中的一个随机平面来做hash函数的计算，这个面，也有正反，正面的向量得到1，反面的得到0，若干个随机平面，也就得到了一串二进制编码的hash值。

LLM开发框架，它把AI程序开发中的常见操作，封装成API了，进而将AI程序的开发标准化，提升构建大语言模型相关软件的效率。

可以把向量存到数据库，然后我们可以生成问题的embedding，再与向量存储中的所有向量进行比较，然后选择最相似的前n个分块，最后，将这n个最相似的分块与原始的问题一起传给LLM，就可以得到答案。在提问时，我们可能会得到存储的整个文档，即使只有前一两个句子是相关的，通过压缩，我们可以从中提取最相关的片段，然后只是将最相关的片段传递给最终的语言模型。例如，把网站，数据库，youtube，或者PDF，html，JSON，Word，PPT等数据源，加载到标准的文档对象中。= word也不等于字符。

现在的LLM本身只能处理文本相关的东西，无法处理非文本的需求。比如我有一个csv格式的数据，要求它帮我做数据分析，并且我希望它以图表的方式给出结果，如果没有agent，我必须得手动把它其中的内容提取出来，然后以文本的方式发给LLM，然后LLM以文本的格式给出结果，最后，我根据结果来画图，得到我想要的答案而如果有agent，我只需要直接把csv上传就行了，agent会自动帮我们去提取数据，并且发送给LLM获取答案，拿到答案之后，再自动帮我们画图，并输出ReAct框架 + 脚本。

生成一个带有编码信息的输出向量，指引序列中的每个词如何关注其他所有词注意，输出矩阵Z的维度没有变，只是其中被编码，掺入了其他单词的上下文信息如下图。单词向量矩阵用X n x d表示，n是句子中单词个数，d是表示向量的维度（论文中d=512）。每一个 Encoder block 输出的矩阵维度与输入完全一致。