书生·浦语大模型实战：部署浦语·灵笔2 模型（lesson 2-4）

书生·浦语大模型实战系列文章目录

书生·浦语大模型全链路开源体系发展历程和特点（lesson 1）
部署 InternLM2-Chat-1.8B（lesson 2-1）
部署八戒demo InternLM2-Chat-1.8B（lesson 2-2）
部署InternLM2-Chat-7B 模型（lesson 2-3）
部署浦语·灵笔2 模型（lesson 2-4）
部署InternLM Studio“茴香豆”知识助手（lesson 3）
XTuner 微调 LLM: 1.8B、多模态和 Agent（lesson 4）
LMDeploy 量化部署 LLM & VLM 实践（lesson 5）
Lagent & AgentLego 智能体应用搭建（lesson 6）
OpenCompass 大模型评测实战（lesson 7）

---

---

前言

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色.

自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

---

一、配置基础环境

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

1.1 进入开发机，启动 conda 环境：

conda activate demo
# 补充环境包
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

1.2 下载 InternLM-XComposer 仓库 相关的代码资源：

cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git

cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626

在 terminal 中输入指令，构造软链接快捷访问方式：

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

二、图文写作

输入指令，启动 InternLM-XComposer：

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

应用运行时，服务器资源消耗：

终端界面：

web端界面和测试内容：

再次换一个自定义要求：请根据中国传说中的神话人物事迹“女娲补天”，写一篇ai视频制作脚本，要求对故事情节进行充分的想象力设计，然后给出分镜头脚本和配套的中国古代神话风格的精美插图。不少于十个场景镜头，字数不低于800字。插图数量不少于10张。得到以下内容：

三、 小结

至此，第二课全部内容和实战练习都已完成，模型的部署和使用方法大同小异。
因为是照猫画虎，对操作中所使用的指令不够娴熟。后续应该加强对每一个指令的深入了解，不仅要知其然，还要知其所以然，这才是实战项目真正的意义。就像中国传武里的套路一样，那都是经典招式集。只有经常习练，使之形成肌肉记忆，在未来的真正对敌实战中，才有可能自然而然的发挥出每一个招式的实力。
学习之路，就是积少成多，聚沙成塔。
实战之路，就是拆开套路，化整为零，也许只用一招，就可以横行天下。