【笔记】wow-rag 第5课-流式部署

正文详见：wow-rag/notebooks/第5课-流式部署.ipynb at main · datawhalechina/wow-raghttps://github.com/datawhalechina/wow-rag/blob/main/notebooks/%E7%AC%AC5%E8%AF%BE-%E6%B5%81%E5%BC%8F%E9%83%A8%E7%BD%B2.ipynb

什么是流式输出：

流式输出是一种逐步传输数据的技术，允许服务器将数据分批发送给客户端，而不是一次性加载全部内容。 

流式输出是一种逐步传输数据的技术，允许服务器将数据分批发送给客户端，而不是一次性加载全部内容。https://bbs.huaweicloud.com/blogs/449699首先构造一个用于流式输出的引擎

streaming=True：启动流式输出

similarity_top_k=3：返回语义相似度前三的结果

# 构造流式输出引擎
query_engine = index.as_query_engine(
    streaming=True, 
    similarity_top_k=3,
    llm=llm)

 response_gen是一个生成器对象，它会逐个产出查询结果的文本块。

response_stream = query_engine.query("请写一篇1000字的文章论述法学专业就业前景") 
for text in response_stream.response_gen:
    print(text,end="")

通过fastapi做成http接口后的结果：