玩转书生·浦语趣味 Demo学习笔记（一）

01 实战部署InternLM2-Chat-1.8B

第一步，打开 Intern Studio 界面，配置基础环境：

开发机选择如下：

立即创建之后，选择进入开发机；

选择JupyterLab，然后选择terminal，在terminal中通过命令配置基础环境：

命令如下：

studio-conda -o internlm-base -t demo

注：ChatGPT解释命令如下：

studio-conda -o internlm-base -t demo 这条命令的意思是：

• 使用 studio-conda 工具或脚本，
• 指定目标 Conda 环境为 internlm-base，
• 并启动 demo 模式

官方解释：

# 与 studio-conda 等效的配置方案
# conda create -n demo python==3.10 -y
# conda activate demo
# conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

激活虚拟环境：

在该环境补充以下Python包：

pip install huggingface-hub==0.17.3
pip install transformers==4.34 
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2 
pip install matplotlib==3.8.3 
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99

第二步，下载InternLM2-Chat-1.8B 模型：

按路径创建文件夹，并进入到对应文件目录中：

mkdir -p /root/demo
touch /root/demo/cli_demo.py
touch /root/demo/download_mini.py
cd /root/demo

注：ChatGPT命令解释：

1、创建 /root/demo 目录：如果这个目录不存在，则创建它；如果已经存在，则不会报错。

2、创建 cli_demo.py 文件：在 /root/demo 目录下创建一个名为 cli_demo.py 的空文件。如果文件已经存在，则更新其修改时间。

3、创建 download_mini.py 文件：在 /root/demo 目录下创建一个名为 download_mini.py 的空文件。如果文件已经存在，则更新其修改时间。

4、切换到 /root/demo 目录：将当前工作目录切换到 /root/demo。

编辑空文件download_mini.py，输入

import os
from modelscope.hub.snapshot_download import snapshot_download

# 创建保存模型目录
os.system("mkdir /root/models")

# save_dir是模型保存到本地的目录
save_dir="/root/models"

snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", 
                  cache_dir=save_dir, 
                  revision='v1.1.0')

ChatGPT总结
这段代码的主要功能是：

创建一个目录 /root/models 来保存模型文件。
使用 modelscope 提供的 snapshot_download 函数，从指定的远程仓库中下载名为 internlm2-chat-1_8b 的模型快照，并保存到 /root/models 目录中。
下载的模型版本为 v1.1.0。
这段代码实现了模型的自动下载和保存，为后续加载和使用该模型做准备。

保存后，在/root/demo下执行命令：

python /root/demo/download_mini.py

下载模型参数。完成如下：

编辑空文件cli_demo.py 文件，如下

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, '')]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("\nUser  >>> ")
    input_text = input_text.replace(' ', '')
    if input_text == "exit":
        break

    length = 0
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
        if response is not None:
            print(response[length:], flush=True, end="")
            length = len(response)

ChatGPT总结
这段代码实现了一个简单的命令行聊天机器人，用户可以通过命令行与 InternLM 模型进行实时交互。具体功能包括：

设置并加载模型和分词器。
定义系统提示以初始化对话。
启动一个无限循环，等待用户输入并生成模型回复。
实时输出模型的生成结果，直到用户输入 exit 退出聊天。
这是一个基本的聊天机器人实现，演示了如何使用 transformers 库加载预训练模型并与其进行交互。

输入命令执行Demo：

conda activate demo
python /root/demo/cli_demo.py

效果如下：

02 实战部署实战营优秀作品 八戒-Chat-1.8B 模型：

介绍：八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。

第一步，配置基础环境：

进入虚拟环境：

conda activate demo

使用 git 命令来获得仓库内的 Demo 文件：

cd /root/
git clone https://gitee.com/InternLM/Tutorial -b camp2
# git clone https://github.com/InternLM/Tutorial -b camp2
cd /root/Tutorial

结果如下

执行命令：

python /root/Tutorial/helloworld/bajie_download.py

程序下载后，输入命令：

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

ChatGPT命令解释：

这个命令的总体作用是启动一个位于 /root/Tutorial/helloworld/bajie_chat.py 路径下的 Streamlit 应用程序，并使其在本地计算机的 127.0.0.1 地址和 6006 端口上可访问。运行该命令后，你可以在浏览器中访问 http://127.0.0.1:6006 来查看和使用该应用程序。

第二步，配置本地设置访问 http://127.0.0.1:6006 来查看和使用该应用程序：

程序运行的同时，对端口环境配置本地 PowerShell 。使用快捷键组合 Windows + R打开指令界面，并输入命令PowerShell，按下回车键

打开 PowerShell 后，先查询端口，再根据端口键入命令 （例如图中端口示例为 34103）：

键入命令：

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 34103

出现错误，ssh无法使用。现在我们通过GPT辅助解决一下，它给的原因和方案如下：

下面步骤指导我们安装OpenSSH，不过给的步骤在我Win10电脑有出入，总结就是方向对了，步骤并不完全适用所有用户电脑：按下 Win + I 打开设置应用，点击“应用”（Apps），在左侧栏中点击“可选功能”（Optional features），向下滚动并点击“添加功能”（Add a feature），在搜索框中输入 OpenSSH，找到“OpenSSH Client”，选中并点击“安装”。

注：我的Win10中左侧栏没有“可选功能”。

而在实际步骤中：

使用快捷键组合 Windows + R打开指令界面，并输入命令fodhelper

该命令会打开找不到的那个可选功能：

加入OpenSSH客户端，重新在PowerShell执行ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 34103，连接成功，要求输入密码

这里密码有个难受的点是，示例老师是直接点击复制并粘贴到PowerShell中的，在本地我并未成功。

解决办法是：复制到其他地方显示密码。然后手动输入即可。

另外的另外，在联想浏览器中，应用已准备好却不显示：

在谷歌浏览器重新打开解决问题，效果如下：