书生大模型训练营第四期—L1G1000学习记录

---

关于书生大模型全链路开源开放体系介绍

1. 2023.7.6开始开源全链条体系，最新为2024.7.5开源的InternLM2.5；

2. InternLM2.5 相较 InternLM2 推理性能提升20%，支持100万上下文，可以推理复杂任务；
   

3. MindSearch

4. 模型量级分为1.8B、7B、20B、102B，分为XComposer（多模态）、XMath（数学推理）、WQX（解题）三种形态；
   

5. 全链条开源工具：

• 书生万卷：开源多模态语料库
• InternEvo：预训练框架（企业用），性能超DeepSpeed
• XTuner：微调框架
• LMDeploy：部署框架，性能超vllm
• OpenCompass：司南评测框架
• 应用：HuixiangDou RAG框架、MinerU文档解析工具、Lagent智能体框架、MindSearch搜索应用

6. 开源数据处理工具箱：
   
7. InrernEvo，减少了硬件需求
   
8. XTuner，支持多种生态和硬件，显存优化
   
9. LMDeploy推理接口 ，推理速度超过vLLM 10. HuixiangDou
   支持RAG、KG知识库，免费商用