hellogv的专栏

本文帮助提高文本处理和向量化的效率，：1、分离文字和表格：将原始Word文档中的文字内容和表格分开保存。将文字内容保存为纯文本的Markdown文件，而将表格单独保存为多个只包含Markdown表格的Markdown文件。2、切片并向量化处理：对于多个Markdown文件，按照固定的大小切片，确保切片大小是大于Markdown表格的体积，以确保包含完整的表格。然后对这些切片进行向量化处理。

知识库经常遇到一个问题会在一个文件的多处或者多个文件出现，这时候如果只回答一个结果就欠佳了，最理想的做法是仿推荐功能，把合适的多个答案及其出处汇总给用户。

使用自己Prompt替换LangChain默认Prompt

用ChatGPT往往是做企业知识库，所以会出现一个场景，即员工想让ChatGPT讲解包含表格的内容。要达到效果，本文的做法是：1、用pandoc把Doc文档转为MarkDown而且是GitHub模式，是重点，因为MarkDown可以作为文本被embedding并且输出内容包含原汁原味的表格标签2、用"\n## "作为MarkDown文件的切割符，用TXTLoader读取MD文件并embedding3、这里只用embedding而不用ChatGPT，本文只做整体表格输出，不做表格

本文基于稍微加工后的文本内容，使用LangChain的CharacterTextSplitter 和 RecursiveCharacterTextSplitter两个文本切割方法做效果对比，ChatGPT面向对话格式的文本理解很好，但如果要把网络上的文章让ChatGPT直接分析则会有格式的问题。文本清洗是个大课题，讲起来需要很多篇幅，优化起来前路漫漫。