m0_55546566的博客

4、AgentLego 新增 MagicMaker 文生图工具实战。3、Lagent 新增自定义工具实战（以查询天气的工具为例）2、Lagent 调用已有 Arxiv 论文搜索工具实战。

AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

OpenCompass采取客观评测与主观评测相结合的方法。针对具有确定性答案的能力维度和场景，通过构造丰富完善的评测集，对模型能力进行综合评价。针对体现模型能力的开放式或半开放式的问题、模型安全问题等，采用主客观相结合的评测方式。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。4、OpenCompass介绍。1、面向未来拓展能力维度。2、大模型测评中的挑战。

7、webdemo部署。训练自己的小助手认知。

大模型一般提供的基座模型是基于普遍共通的数据，所以针对下游任务就需要在基座模型上做微调。微调一般有两种范式，特点：傻瓜化、轻量级、适配多种硬件和生态。一、Finetune简介。二、XTuner工具。

2.下载internlm-chat-1.8b模型。1.配置lmdeploy运行环境。3.以命令行方式与模型对话。

根据InternLM2技术报告(1提供的模型参数数据，以及KV Cache空间估算方法[2]，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。知识蒸馏是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型"模仿"性能更好、结构更复杂的教师模型，在不改变学生模型结构的情况下提高其性能。大模型的请求量不确定，请求时间不确定，Token逐个生成，生成的数量不确定。：模型高效推理、模型量化压缩、服务化部署。

1. web搭建知识问答助手

1、RAG技术概述 RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。 2、RAG工作原理 三个部分：索引、检索、生成。 其中，向量数据库是

【代码】第二期 轻松玩转书生·浦语大模型趣味 Demo笔记。

【代码】【无标题】

书生浦语全链路