wuexp的专栏

之前5月份写过用autodl镜像一键安装langchain-ChatGLM，过了5个月，原来开发团队已经升级好几个版本，支持国内外各种基座模型，特别强调了国产的通义千问。模型的服务接口框架也变了，总之新功能很多，我抽时间安装了一下，记录一下过程。防止大家踩坑。

最近开源大模型层出不穷，非常火爆。好多小伙伴跃跃欲试，但是，大模型本地搭建，就算是只做推理也需要性能强悍的机器，更不要说微调和全参数训练，没有几十万的显卡投入是搞不定的。chatGLM推理可以在cpu上运行，但是不建议，速度很慢。6b模型建议12G显卡，最好16G以上（int4好像只要6G）。市面上，16G显存的显卡大概1w左右。24G大概1w5左右。如果不是专门做模型的人，不建议去购买，不过买来玩3A大作是挺好的，哈哈。算法小白建议租显卡，简单体验一下就行。