Xinference+dify 实现rerank模型的本地化部署与测试

背景：

rerank模型是一个很特殊的模型，主要用于文档类文件内容的提取与知识库的建设，但主流的ollama模型部署工具确不擅长于此类模型的部署，这就被迫引入xinference 模型部署工具。

材料：

1、部署好的xinference环境并成功部署了rerank模型

2、部署好的dify工具（至于部署可以参考本人其他博文，有专门介绍dify安装的） 

制作：

获取rerank model 信息

1、先打开xinference 的 Running Models  目录并导航到“RERANK MODEL”选项卡并记录如下信息

关键信息：

模型ID ： bce-reranker-base_v1 

模型name: bce-reranker-base_v1 

模型请求API的URL：该xinference 网页的请求地址（Xinference）

配置dify

1、点击“用户头像--设置”即可进入下面页面