自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

weixin_45630508的博客

原创 python and逻辑

正当我感觉没什么不同时，突然想到Python与逻辑会先判断前面的，如果前面的不成立，那整个与表达式就不成立。

2023-09-19 19:28:21 129

原创 Torchserve部署chatglm，实现batch_inference和stream_response

torchserve的使用需要java环境，官方建议openjdk11。使用pip安装Torchserve和模型打包工具torch-model-archiver。

2023-09-12 21:06:26 1069 6

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

weixin_45630508 优快云认证博客专家优快云认证企业博客

码龄6年

暂无认证

IP 属地：江苏省

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

2: 原创

169万+: 周排名

219万+: 总排名

1195: 访问

: 等级

34: 积分

3: 粉丝

10: 获赞

6: 评论

2: 收藏

私信

关注

最新评论

Torchserve部署chatglm，实现batch_inference和stream_response
Mark167: 正常打包的时候需要指定模型文件，但是chatglm6b有多个文件，没法指定。你这里直接不指定，在handle直接用的路径。是为了避开这个问题么，我复制你的代码，打包只有一个几kb的mar包， torchserve启动会报错transport failed，应该是没打包成功. 能提供下你使用的python版本， torch torchserve transformer的版本信息么
Torchserve部署chatglm，实现batch_inference和stream_response
Mark167: 你这个生成的charglm.mar是多大啊，我看只有几kb对么
Torchserve部署chatglm，实现batch_inference和stream_response
AI for Cloud: 有源码能分享吗？谢谢
Torchserve部署chatglm，实现batch_inference和stream_response
优快云-Ada助手: 恭喜你写下了第一篇博客！标题中提到的Torchserve部署chatglm、实现batch_inference和stream_response听起来非常有挑战性。我很期待能够读到你在这方面的经验和见解。作为下一步的创作建议，或许你可以分享一些在实现这些功能中遇到的具体问题以及你是如何解决它们的。这样的分享将对读者来说非常有价值。希望你能够保持谦虚的态度继续创作，期待你未来的博客！推荐【每天值得看】：https://bbs.youkuaiyun.com/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1
Torchserve部署chatglm，实现batch_inference和stream_response
优快云-Ada助手: 恭喜你这篇博客进入【优快云每天最佳新人】榜单，全部的排名请看 https://bbs.youkuaiyun.com/topics/617236170。