qq_35412671的博客

原创 MindSearch 快速部署

在完成注册后，打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥，然后点击密钥进行复制，以备后续使用。首先，我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号（如果注册过，则直接登录即可）。export SILICON_API_KEY=第二步中复制的密钥。export SILICON_API_KEY=第二步中复制的密钥。# 然后关闭终端，重启才可以使用。

原创 茴香豆：企业级知识库问答工具

在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。修改完配置文件后，就可以进行知识库的搭建，本次选用的是茴香豆和 MMPose 的文档，利用茴香豆搭建一个茴香豆和 MMPose 的知识问答助手。的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。这就出来了可惜只有英译版的。

原创 InternVL 部署微调实践

1.环境配置1.1.训练环境配置新建虚拟环境并进入:conda create --name xtuner-env python=3.10 -yconda activate xtuner-env"xtuner-env"为训练环境名，可以根据个人喜好设置，在本教程中后续提到训练环境均指"xtuner-env"环境。安装与deepspeed集成的xtuner和相关包：pip install -U 'xtuner[deepspeed]' timm==1.0.9pip inst

原创 书生大模型全链路开源体系

7B、20B和7B：轻量级模型，性能优异，适合作为轻量级应用的基座。20B：更大的参数量，适用于复杂场景的需求。：专为对话场景优化，具备指令遵循、情感共鸣和工具调用等能力，能胜任复杂的实用场景。主要特点分层模块化设计：提供从轻量级到深度领域定制的选择。模型性能显著提升，在推理、数学和代码方面表现优异。对话与创作体验出色，支持多种场景需求。书生大模型（InternLM2）通过强大的全链路开源开放体系，为开发者提供了从数据到部署的完整解决方案。

原创 LMDeploy 量化部署进阶实践

1.现在显存占用约2 LMDeploy与InternLM2.5保持第一个终端不动，在新建终端中输入exit退出。输入以下命令，使用Gradio作为前端，启动网页。

原创 Lagent：从零搭建你的 Multi-Agent

Agent是一种能够自主感知环境并根据感知结果采取行动的实体，以感知序列为输入，以动作作为输出的函数。它可以以软件形式（如聊天机器人、推荐系统）存在，也可以是物理形态的机器（如自动驾驶汽车、机器人）。自主性：能够在没有外部干预的情况下做出决策。交互性：能够与环境交换信息。适应性：根据环境变化调整自身行为。目的性：所有行为都以实现特定目标为导向。Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

原创 探索 InternLM 模型能力边界

然而，这些技术的应用也带来了数据安全和隐私保护的挑战。如何在提升效率与确保安全之间找到平衡，是未来发展的关键问题。这些问题涵盖了模型在多个维度的表现，包括语言理解、生成能力、推理、数学计算、多语言能力、编码能力等。：请生成一个 Python 脚本，该脚本接收用户输入的整数列表并返回排序后的结果。“随着人工智能技术的发展，人类将迎来效率提升与伦理挑战并存的新时代。：假设这是一个用户与助手的对话，请补充合理的对话内容。：以下句子中的核心含义是什么？：以下数学表达式的计算结果是多少？：以下逻辑题的答案是什么？

原创 XTuner 微调实践微调

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。脚本来观察微调后的对话效果，不过在运行之前，我们需要将脚本中的模型路径修改为微调后的模型的路径。训练过程中产生的所有文件，包括日志、配置文件、检查点文件、微调后的模型等，默认保存在。这里我们使用修改好的配置文件。

原创 OpenCompass 评测

internlm_url = 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/' # 你前面获得的 api 服务地址。d['reader_cfg']['test_range'] = '[0:1]' # 这里每个数据集只取1个样本, 方便快速评测.export INTERNLM_API_KEY=xxxxxxxxxxxxxxxxxxxxxxx # 填入你申请的 API Key。openai_api_base=internlm_url, # 服务地址。

原创 InternLM + LlamaIndex RAG 实践

回答的效果并不好，并不是我们想要的xtuner的定义回答。

原创 书生大模型实战营-浦语提示词工程实践

原创 书生大模型实战营-玩转书生「多模态对话」与「AI搜索」产品

2.代码解析问答3书生·万象模型。

原创 书生大模型实战营-书生大模型全链路开源体系

生成式AI在供应链中的应用，如Amazon Supply Chain，可以帮助企业提高供应链的可视性，实时观察运营状况，生成更准确的需求预测，以确保有足够的库存满足客户需求。生成式AI在医药行业中的应用也取得了显著进展。生成式AI在产品工程领域的应用，结合人工智能和机器学习，可以增强离散产品组件的设计，提供创新设计方案，从而降低成本、减少材料消耗、缩减工程设计时间。生成式AI在预测性维护中的应用，如频率探索公司，通过硬件和软件结合的方式，为设备提供多维度故障机理模型的实时跟踪，并提供分钟级故障诊断结果。

原创 书生大模型实战营

发现res格式错误其值为：'```json\n{\n "模型名字": "书生浦语InternLM2.5",\n "开发机构": "上海人工智能实验室",\n "提供参数版本": [1.8B, 7B, 20B],\n "上下文长度": 1M\n}\n```'去掉首位空格并对1.8B,7B,20B分别增加前后引号。发现报错打开debug程序下断点。2 pyhthon前置。

原创 书生大模型实战营

1.linux前置基础。