分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题

本文是书生·浦语二期实战营课程视频笔记，如果需要详细视频教程可自行搜索。

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。核心功能-量化核心功能-推理引擎TurboMind核心功能-推理服务。

XTuner 是一个傻瓜式、轻量级的大语言模型微调工具箱，由MMRazor和MMDeploy联合开发。其以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调；对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB。XTuner 支持的开源大模型：InternLM、Llama/Llama2、ChatGLM2/ChatGLM3、Qwen、Baichuan/Baichuan2、Zephyr微调有全参、LoRA、QLoRA三种方式，QLoRA是LoRA微调的改进。以数据集为例场景需求。

为了开发RAG应用，我们使用LangChain。LangChain是一个开源工具框架，通过为各种LLM提供通用接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用。链（Chains）：将组件组合实现端到端应用，通过一个对象封装实现一系列LLM操作Eg：检索问答链，覆盖实现RAG的全部流程下图是基于LangChain搭建RAG应用的流程图：后面我们将根据该流程来搭建自己的RAG应用。llm.predict("你是谁")

本节我们先来搭建几个Demo来感受一下书生浦语大模型。

书生·浦语大模型开源历程：书生·浦语大模型系列：以20B开源大模型为例，其性能全面领先相近量级的开源模型（包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型），以不足三分之一的参数量，达到Llama2-70B水平。总之书生浦语是一个大模型全链路开源体系，为开发者提供了从数据集准备到模型训练、部署和应用的全套解决方案。通过该体系，开发者可以自由定制和扩展模型，满足不同场景下的需求。Prometheus+Grafana 实践派。