python代码服务汇总

小李飞刀李寻欢

于 2023-09-05 17:24:12 发布

阅读量431

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Notebook 文章标签： python 前端服务器服务

本文链接：https://blog.youkuaiyun.com/SPESEG/article/details/132695973

Notebook 专栏收录该内容

222 篇文章 ¥399.90 ¥499.90

订阅专栏

超级会员免费看

这篇博客汇总了使用Python构建服务的相关内容，包括chatglm6b web服务的实现，配置gunicorn进行多进程启动，Flask服务的shell脚本，transformers库在下游任务训练中的应用，以及服务启动的shell脚本。此外，还涉及了推荐算法中fuxi CTR的配置设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、chatglm6b web服务

from transformers import AutoModel, AutoTokenizer
import gradio as gr
#model_name_or_path="THUDM/ChatGLM-6B"#"conf/snapshots"
model_name_or_path="../conf/snapshots"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True).half().quantize(4).cuda()
model = model.eval()

MAX_TURNS = 20
MAX_BOXES = MAX_TURNS * 2


def predict(input, history=None):
    if history is None:
        history = []
    response, history = model.chat(tokenizer, input, history)
    updates = []
    for query, response in history:
        updates.append(gr.update(visible=True, value="用户：" + query))
        updates.append(gr.update(visible=True, value="AI