博客简介

构建向量化知识库也可以使用Ollama或者OpenAI的embedding模型，但是由于它们库里面的embedding模型较少，且大多数不支持中文，因此推荐大家到huggingface找合适的embedding模型建立自己的知识库。注意这里使用的模型名称要正确，国内代理商提供的模型可能和官方会有一些小差别，要以你的OpenAI Key提供商的模型为准。这里的实例化还是为了之后调用已经构建好的知识库做准备，并不是用于再次重复为文档编码、得到知识库。），调用OpenAI的模型，搭建自己的AI问答机器人。

主要需要修改的是llm = Ollama(base_url= url, model="qwen2:72b",temperature=0.3), # 模型选择这个语句，该语句中，url就是第2步当中填写的ip地址和端口组成的大模型部署地址，model就是你想要调用的模型名称（该模型必须已经部署在url所引用的地址上），是模型回答创造性程度，该值越大，AI机器人的回答会越不可预料一些。# 定义查询方法。

注意这里第3行代码中的chunk_size指的是将输入文本序列切分成多个部分时每个部分的最大长度，chunk_overlap 则是指相邻两个 chunk 之间重叠的 token 数量，这样做是为了保证文本语义的连贯性，如果你的原文档。下载后建议放到当前程序所在的文件夹内，这里代码的model_name填写你下载的大模型代码包的路径。对文档编码形成本地知识库无需使用GPU，只需要用CPU即可，所以笔记本没有好的显卡的小伙伴也不用担心啦~这里是对第3步中分割好的文档进行编码，使用的模型是。