书生浦语大模型课程1-笔记

课程链接

---

大模型发展

通过图片能看出，大模型由专用模型向多任务多模态的通用大模型发展。通用大模型是通用人工智能的必经之路。

书生浦语大模型

开源了免费商用的模型版本，后续更新了各种参数量的模型，并在今年开源了二代版本。

不同参数量规模的模型都包含右侧三个版本，推荐在Base基础上实现自己需求方向的搭建。
语言建模本质需要有高质量的数据，故提出新一代数据清洗过滤技术。二代模型的建模能力比一代强很多。

书生浦语二代模型

书生2.0优点如下：
支持超长上下文
综合性能比肩Chatgpt
指令跟随与对话体验更优秀
支持多种工具使用，有助于复杂智能体搭建
计算能力很强，达到GPT-4类似水平

用途举例：
扮演AI助手安排行程；给一些人文关怀的回答；帮助进行有想象力的创作，如剧本等；有进行数据分析的功能；此外模型能通过不同工具的组合使用完成较复杂的任务。

全链条生态体系

为了应对各种需求，书生开源了全链条体系

数据方面：

预训练：

微调：


微调框架适用性较好。


总之，能看出全链条生态都发展比较完善，而不只是大模型的预训练。


对于视觉，语音，多模态等都有支持。