在Xinference中配置API端口与Dify集成指南

在Xinference中配置API端口与Dify集成指南

【免费下载链接】inference 通过更改一行代码，您可以在应用程序中用另一个大型语言模型（LLM）替换OpenAI GPT。Xinference赋予您使用任何所需LLM的自由。借助Xinference，您能够在云端、本地、甚至笔记本电脑上运行任何开源语言模型、语音识别模型和多模态模型的推理。 项目地址: https://gitcode.com/xorbits/inference

Xinference作为一个开源的模型推理框架，提供了便捷的API接口供其他系统调用。本文将详细介绍如何正确配置Xinference的API端口，并解决与Dify平台集成时可能遇到的连接问题。

Xinference默认API端口

Xinference默认对外提供服务的API端口是9997。这意味着当你在本地或服务器上启动Xinference服务后，可以通过http://<服务器IP>:9997来访问其API接口。

模型API访问方式

对于部署在Xinference上的模型，无论是LLM(大语言模型)还是Embedding模型，都通过同一个API端口提供服务。访问特定模型时，需要在URL路径中指定模型UID。

例如：

• LLM模型访问路径：http://<IP>:9997/v1/chat/completions
• Embedding模型访问路径：http://<IP>:9997/v1/embeddings

与Dify平台集成时的常见问题

当尝试将Xinference与Dify平台集成时，开发者经常会遇到连接失败的问题。这通常是由于网络配置不当导致的，特别是当两个服务运行在不同的容器或网络环境中时。

解决方案

1. 确认Xinference绑定地址：检查Xinference服务是否绑定到了0.0.0.0而不是127.0.0.1，后者只能在本地访问。

2. 使用正确的IP地址：如果Dify运行在容器内，而Xinference在宿主机上，需要使用宿主机的真实局域网IP地址，而不是localhost或127.0.0.1。

3. 网络连通性测试：在Dify容器内使用curl或ping命令测试是否能访问Xinference服务的IP和端口。

4. 防火墙设置：确保服务器防火墙允许9997端口的入站连接。

最佳实践建议

1. 在Dify配置中使用Xinference服务器的局域网IP地址，格式为http://<局域网IP>:9997。

2. 对于生产环境，考虑使用反向代理(如Nginx)来管理API访问，并配置HTTPS加密。

3. 在Docker Compose或Kubernetes环境中部署时，确保两个服务在同一个网络下，或正确配置网络路由。

通过以上配置和注意事项，开发者可以顺利地将Xinference与Dify平台集成，充分利用Xinference提供的模型推理能力。

【免费下载链接】inference 通过更改一行代码，您可以在应用程序中用另一个大型语言模型（LLM）替换OpenAI GPT。Xinference赋予您使用任何所需LLM的自由。借助Xinference，您能够在云端、本地、甚至笔记本电脑上运行任何开源语言模型、语音识别模型和多模态模型的推理。 项目地址: https://gitcode.com/xorbits/inference