u010784605的博客

​ 为实现非结构化数据的高效检索，关键在于将其转化为结构化的表示形式。通过对海量文档进行文本分块、向量化处理，并将其存储于专用数据库中，可将非结构化内容转换为数值化的向量表示。在进行检索时，查询内容经过相同的向量化处理，通过计算向量间的相似度，从数据库中找出与之最接近的k个向量。最终，所需的答案即蕴含于这k个向量所对应的文本块之中。当我们面临的内容不再是数据，而是知识，提出的问题也不再局限于某个字段值，而是自然语言描述的问题，传统的关键字检索局限性就太大了。切割后文档存入向量数据库。

一致性原则：你的文本分割器应该与你的嵌入模型和LLM的tokenizer保持一致。OpenAI生态 -> 用tiktokenHugging Face / Sentence Transformers 生态 -> 用质量优先原则：如果一致性不是问题（例如，你只关心内容而不调用外部API），且对语义完整性要求高，选择。实验验证：没有绝对的“最佳”。在你的测试集上，用不同的分割器生成块，设置不同的 chunk_size(如512,1024)，然后比较最终的检索质量和答案生成质量。这是最可靠的判断方法。

笔者语：切割器的选择会影响喂给大模型文档质量，不同的应用场景需要选择合适的切割器才能保证大模型高质量回答，如何选择切割器，每种切割器都适用于什么场景，请关注后续更新。接收一个字符列表，尝试基于第一个字符进行切割，如果切割后的文本块太大，则移动到下一个字符，以此类推。通过 SpaCy 切割器切割，文本块大小通过字符数量计算，是 NLTKTextSplitter 的替代方案。由 OpenAI 创建，可以用于估算使用的 token 数量，对于 OpenAI 模型，估算准确度较高。(运行代码需要外网环境下载模型)

使用输出解析器实现大模型输出结果，直接可在代码中使用

利用多模态大模型识别身份证内容并抽取信息，结构化输出 pydantic

在实际fewshot prompt应用中，可能存在示例过长或过多的情况，从而超出大模型可以处理的字数限制。为解决这种问题，langchain在实例化FewShotPromptTemplate的时候提供了实力选择器参数。示例选择器的作用是在传递给模型示例中做选择，确保示例的数量和内容长度不超过模型的最大处理能力。这样不论示例再多，模型也能有效处理提示词。示例选择器在选择示例的时候基于一定的策略，如示例长度，示例与输入的相似度等。

利用少量的样本（提示词中加入【示例】）引导模型对特定任务进行学习和执行。示例中通常需要包含问题（或任务描述）及相应的答案（解决方案）。什么时候需要少样本提示词？当想让模型复制一种难以明确描述的特定响应风格的时候。少样本提示可以改善模型的性能。

提示词工程化应用代码示例

Langchain 提供的记忆组件，用于维护应用程序的状态，允许用户根据最新的输入和输出更新应用状态，并支持使用已存储的状态调整输入内容。

langchain Agent组件说明及代码实现

结合FastAPI和Ollama大模型实现大模型聊天接口能力

Langchain是一个大语言模型集成框架，对于大语言模型类似于汽车之于发动机。langchain为开发者提供的工具和组件，可让开发者方便地实现大语言模型程序。

与大模型对话技巧，让AI更懂你

罗列大模型常用的应用场景