麦麦大数据

摘要： 本文介绍了使用流式接口调用大型语言模型(LLM)的优势和方法。流式接口可以逐词返回结果，提升用户体验。文章展示了基于Langchain框架的三种实现方式：1)基本流式调用，逐块打印响应；2)异步版本实现；3)添加系统级提示词来控制回答风格。代码示例演示了如何通过ChatOpenAI访问通义千问模型，以及如何处理系统消息和人类消息。这些方法适用于Web或CLI应用场景，能有效减少用户等待感。

这篇文章介绍了在MacOS上部署LangChain的方法。主要内容包括：1）环境准备；2）安装LangChain相关组件；3）通过OpenAI兼容方式调用本地/第三方LLM服务的实现步骤；4）具体演示了如何调用通义千问服务，并提供示例代码和运行截图。文章指出，该方法适用于所有支持OpenAI协议的LLM服务，只需正确配置base_url和api_key即可实现对接。