2301_80618119的博客

第一节课笔记：https://blog.youkuaiyun.com/2301_80618119/article/details/135376409?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22135376409%22%2C%22source%22%3A%222301_80618119%22%7D第二节课笔记：https://blog.youkuaiyun.com/2301_80618119/ar

Meta官方推荐，唯一由国内开发的大模型评测体系，其他三个分别是HuggingFace、Stanford和Google退出的测评体系。OpenCompass会将评测请求切分为多个独立执行的任务，从而最大化利用计算资源。建立在公平的、全面的统一框架下。可以知道模型的能力边界。

将训练好的模型在特定软硬件环境中启动的过程，使模型能够接收输入并返回预测结果为了满足性能和效率的要求，常常对需要对模型进行优化，例如模型压缩和硬件加速使LLM在英伟达设备上部署的全流程解决方案。包括轻量化、推理和服务。

LLM的下游应用中，增量预训练与指令跟随是经常会用到的两种的微调模式。多种微调算法适配多种开源生态自动优化加速。

开源工具，通过为各种LLM提供通用接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用。链：将组件组合实现端到端应用，通过一个对象封装实现一系列LLM操作。Eg.检索问答链，覆盖实现了RAG（检索增强生成）的全部流程。

人工智能领域中的模型。

专用模型：针对特定任务，一个模型解决一个问题通用大模型：一个模型应对多种任务、多种模态。