本文介绍了书生·浦语大模型实战营的第二期作业，涉及智能对话部署、八戒-Chat模型、Lagent智能体Demo和浦语·灵笔2的图文创作能力。通过实战演练，学员可以掌握InternLM2模型的部署和使用，以及多模态理解与创新应用。
大家好，我是书生·浦语大模型实战营第二期的助教yanbo，接下来跟大家分享我的第二次作业笔记和作业：
玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo
趣味 Demo 任务列表
本节课可以让同学们实践 4 个主要内容，分别是：
-
部署 InternLM2-Chat-1.8B 模型进行智能对话
-
部署实战营优秀作品 八戒-Chat-1.8B 模型
-
通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo
-
实践部署 浦语·灵笔2 模型
一.部署InternLM2-Chat-1.8B模型进行智能对话
1.环境配置
配置InternLM2-Chat-1.8B所需环境
2.下载 InternLM2-Chat-1.8B 模型,并运行
python /root/demo/download_mini.py
python /root/demo/cli_demo.py
运行实例
作业：请创作一个 300 字的小故事
二.部署实战营优秀作品 八戒-Chat-1.8B 模型
八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳均是在第一期实战营中运用InternLM2-Chat-1.8B模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为Roleplay-with-XiYou子项目之一，八戒-Chat-1.8B能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。
具体模型链接如下：
-
八戒-Chat-1.8B：魔搭社区
-
Chat-嬛嬛-1.8B：OpenXLab浦源 - 模型中心
-
Mini-Horo-巧耳：OpenXLab浦源 - 模型中心
获得库内demo文件
下载并运行bajie_download.py
打开网页,发现打不开(一直卡在如下界面):
以为是什么配置没到位,结果等一分钟就加载出来了
试了一下，还挺好玩的
三.通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
Lagent 的特性总结如下：
-
流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
-
接口统一，设计全面升级，提升拓展性，包括：
-
Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
-
Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
-
Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
-
文档全面升级，API 文档全覆盖。
使用 git 命令下载 Lagent 相关的代码库：
打开lagent路径下examples/internlm2_agent_web_demo_hf.py文件，修改一下模型路径后运行:
依旧是等待
加载好了就是这个样子(出现对话框)
请解方程 2*X=1360 之中 X 的结果
逻辑推理能力也可以
说出一个有两个整实数解的一元二次方程，并写出它的两个根
四.实践部署 浦语·灵笔2 模型
初步介绍 XComposer2 相关知识
浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：
-
自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
-
准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
-
杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。
接下来我们试下图文写作和图片理解
配置环境,下载相关资源:
突然发现版本冲突了,降级一下hf_hub
降级了也不行,再升回来:(
大家好，我是书生·浦语大模型实战营第二期的助教yanbo，接下来跟大家分享我的第二次作业笔记和作业：
玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo
趣味 Demo 任务列表
本节课可以让同学们实践 4 个主要内容，分别是：
-
部署 InternLM2-Chat-1.8B 模型进行智能对话
-
部署实战营优秀作品 八戒-Chat-1.8B 模型
-
通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo
-
实践部署 浦语·灵笔2 模型
一.部署InternLM2-Chat-1.8B模型进行智能对话
1.环境配置
配置InternLM2-Chat-1.8B所需环境
2.下载 InternLM2-Chat-1.8B 模型,并运行
python /root/demo/download_mini.py
python /root/demo/cli_demo.py
运行实例
作业：请创作一个 300 字的小故事
二.部署实战营优秀作品 八戒-Chat-1.8B 模型
八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳均是在第一期实战营中运用InternLM2-Chat-1.8B模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为Roleplay-with-XiYou子项目之一，八戒-Chat-1.8B能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。
具体模型链接如下：
-
八戒-Chat-1.8B：魔搭社区
-
Chat-嬛嬛-1.8B：OpenXLab浦源 - 模型中心
-
Mini-Horo-巧耳：OpenXLab浦源 - 模型中心
获得库内demo文件
下载并运行bajie_download.py
打开网页,发现打不开(一直卡在如下界面):
以为是什么配置没到位,结果等一分钟就加载出来了
试了一下，还挺好玩的
三.通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
Lagent 的特性总结如下：
-
流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
-
接口统一，设计全面升级，提升拓展性，包括：
-
Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
-
Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
-
Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
-
文档全面升级，API 文档全覆盖。
使用 git 命令下载 Lagent 相关的代码库：
打开lagent路径下examples/internlm2_agent_web_demo_hf.py文件，修改一下模型路径后运行:
依旧是等待
加载好了就是这个样子(出现对话框)
添加图片注释，不超过 140 字（可选）
请解方程 2*X=1360 之中 X 的结果
逻辑推理能力也可以
说出一个有两个整实数解的一元二次方程，并写出它的两个根
四.实践部署 浦语·灵笔2 模型
初步介绍 XComposer2 相关知识
浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：
-
自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
-
准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
-
杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。
接下来我们试下图文写作和图片理解
配置环境,下载相关资源:
突然发现版本冲突了,降级一下hf_hub
降级了也不行,再升回来:(
准备输入提示词
(根据以下标题：“中国水墨画：流动的诗意与东方美学”，创作长文章，字数不少于800字。请结合以下文本素材：
“水墨画是由水和墨调配成不同深浅的墨色所画出的画，是绘画的一种形式，更多时候，水墨画被视为中国传统绘画，也就是国画的代表。也称国画，中国画。墨水画是中国传统画之一。墨水是国画的起源，以笔墨运用的技法基础画成墨水画。线条中锋笔，侧锋笔，顺锋和逆锋，点染，擦，破墨，拨墨的技法。墨于水的变化分为五色。画成作品，题款，盖章。就是完整的墨水画作品。
基本的水墨画，仅有水与墨，黑与白色，但进阶的水墨画，也有工笔花鸟画，色彩缤纷。后者有时也称为彩墨画。在中国画中，以中国画特有的材料之一，墨为主要原料加以清水的多少引为浓墨、淡墨、干墨、湿墨、焦墨等，画出不同浓淡（黑、白、灰）层次。别有一番韵味称为“墨韵”。而形成水墨为主的一种绘画形式。”)
url界面
生成的作业
promoting得好，画也不错
然后再试下图片理解能力
我上传了"最后的晚餐"一图
它直接能识别出这幅画,而不是对其进行简单的描述.
相关链接分享:
课程文档：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md 课程视频：https://www.bilibili.com/video/BV1AH4y1H78d/ 课程作业：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/homework.md
觉得不错欢迎 Star https://github.com/InternLM/InternLM
扫一扫
1698
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
