InternLM: 入门 - 1.8B/8G 模型部署

基础任务：用 cli-demo 部署 console 问答 agent

按文档配置环境，运行脚本即可。模型是 load 的预训练节点，位于 

/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b

这是开源仓库 InternLM2-1.8B 的镜像，由 root config file config.json 指定了 AutoConfig, AutoModelForCausualLM, AutoModel 几个类在 load 时候的加载入口。（我猜是 huggingface 的文件目录格式

推理显存占用：4G

LMDeploy + gradio 部署 InternVL2-2b

本次复现不涉及源码，跑一下 LMdeploy 的命令就部署起来了，环境配好了已经。倒是 log 可以看一下：

img 进来之后先 encode，encode 之后 enqueue，等待结果完成计算