m0_37524458的博客

embeddings是将数据映射为低维空间的向量的过程。

生成模块：负责根据检索到的信息和用户查询生成所需的输出。RAG技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。具体来说，就是将用户的查询通过嵌入模型转换成向量，以便与向量数据库中存储的知识相关的向量进行比对。生成：将经过检索增强的提示词内容输入到大语言模型（LLM）中，以此生成所需的输出。提高准确性：RAG能够结合检索到的信息和用户查询生成更准确的输出，减少误导性信息的产生。

要在本地运行 GitHub 上的tiktoken库，你需要执行以下步骤。tiktoken是 OpenAI 用于处理文本标记化的库，特别是针对 GPT 模型。