云端部署InternLM2-Chat-1.8B 模型-优快云博客

创建10%A100开发机，实测使用5gb显存就够

安装conda环境，用时较长

conda create -n demo python=3.10 -y

结束部署，耐心等待，要是等不了取消了，后续会很麻烦

激活环境

conda activate demo

安装pytorch

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

安装依赖

pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0
pip install streamlit==1.37.0

新建工作目录，并新建一个空的py文件

mkdir -p /root/demo
touch /root/demo/cli_demo.py

在jupyter里面找到空的py文件，写入代码

运行这个文件

python /root/demo/cli_demo.py

然后就能对话了

小白兔采草药的故事

一个美丽的花园里，住着一只聪明的兔子。兔子名叫小白，非常喜欢探索周围的环境。一天，小白决定去寻找一种罕见的草药，据说它可以治愈许多疾病。

小白开始寻找草药，它穿过花园，翻过山丘，穿过河流，最终来到了一片茂密的森林。在森林中，小白遇到了一只神奇的鸟儿，这只鸟儿告诉小白，只有一种草药可以治愈所有的疾病，但是这种草药只能在特定的季节出现。

小白开始寻找这种草药，它走了很长时间，穿越了森林，翻过了山脉，穿过了河流，最终来到了一个神秘的洞穴。在洞穴中，小白遇到了一位神秘的老人，老人告诉小白，只有一种草药可以治愈所有的疾病，但是这种草药只能在特定的季节出现。

小白终于找到了这种草药，它把草药带回家中，用它治愈了所有的疾病，小白也因此成为了花园里最受欢迎的动物。从此以后，小白一直住在花园里，继续探索周围的环境，享受着花园的美好。

啊这，死循环，怪不得是睡前故事，给我看困了。