茴香豆rag笔记

1、视频讲解了一些rag的知识比较全面。比如发展进程和常用优化方法

rag发展进程

rag常用优化方法

rag模型评测方法

##使用心得

   由于之前我使用过coze的知识库，coze上传excel常用QA总结做知识库，效果还不错。由于家里电脑没有公司excel，所以从chatexcel找了示例，excel的上传解析没啥问题。但如果不做任何改动，效果很差。

比如我作为中医粉，上传的语料有“腰间盘突出原理”，但rag并没有搜索到，另外加了serp的token，还没找到如何使用。

excel用chatexcel上的gpd解析失败，不知道为哈，所以不再试excel。手动试一个QA的数据，随便从百度搜一个试试。

这么短的文本处理时间也不短，目测3分钟还在处理中，还好刷新后成功了

结果比较不错。


换个问法效果不错，超出预期。

总结：茴香豆的rag可能需要特别的语料，txt的QA还不错。对excel格式解析不强，pdf,doc说是可以解析，但实际简单检索也不行，估计也需要特别的QA形式？

3、在开发机部署茴香豆

有一点像早期的lawsuit开源项目。拉取代码，用语料建立向量数据库，运行。
茴香豆多了一个拒绝问题列表，这个应该有用。支持问题列表有点困惑，不知道有啥用。

1、换conda环境。

studio-conda -o internlm-base -t InternLM2_Huixiangdou
conda activate InternLM2_Huixiangdou

2、下载茴香豆，创建知识库，运行茴香豆知识助手
有一个错误，估计前面部分还是可以测试的，后面部分估计没有成功。

整体还算顺利，后面那个天气果然没有回答，我看看是不是在文档后半部分。

看起来前面有些过程其实并不需要，比如判断问题类型？估计是chat模型判断这是一个什么类型的问题（问答，打分之类的），然后再做回答。


今天天气怎么样？这个问题没搜到，看了一下docs下的文档，其实也没有，照道理这种问题应该是serp搜城市天气或者调用weather api更合适。

茴香豆gradio网页demo，很顺利，一次跑通。