wocsdn111-优快云博客

原创书生大模型实战营3期 - 进阶岛 - 6 - MindSearch 快速部署

(6) 将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署；(4) 选择 New secrets，name 一栏输入 SILICON_API_KEY，value 一栏输入你的 API Key 的内容；(1) 首先打开 https://huggingface.co/spaces ，并点击 Create new Space，如下图所示；(7) 最终，在huggingface space下的运行结果如下；

2024-08-22 18:00:24 1913 2

原创书生大模型实战营3期 - 进阶岛 - 5 - 茴香豆：企业级知识库问答工具

注：可能会出现“local_llm_path”的问题，在“/root/huixiangdou/config.ini”中查找“local_llm_path”变量。(3) 运行下面的命令，增加茴香豆相关的问题到接受问题示例中；(4) 再创建一个测试用的问询列表，用来测试拒答流程是否起效；(5) 创建 RAG 检索过程中使用的向量数据库；向量数据库目录 workdir如下；(6) 运行茴香豆知识助手；(1) 修改配置文件；(2) 创建知识库；

2024-08-20 17:48:56 809

原创书生大模型实战营3期 - 进阶岛 - 4 - InternVL 微调实践闯关任务

(1) 设置在线 kv cache int4/int8 量化以及kv cache缓存大小(参数：quant-policy、cache-max-entry-count)；(3) 以Gradio网页形式连接API服务器，输入以下命令，使用Gradio作为前端，启动网页；(2) W4A16 模型量化和部署，输入以下指令，执行量化工作(量化很慢)；(2) 以命令行形式连接API服务器，运行如下命令以启动命令行客户端；(3) W4A16 量化+ KV cache+KV cache 量化；(1) 启动API服务器；

2024-08-19 13:33:05 518

原创书生大模型实战营3期 - 进阶岛 - 3 - LMDeploy 量化部署进阶实践

【代码】书生大模型实战营3期 - 进阶岛 - 3 - LMDeploy 量化部署进阶实践。

2024-08-16 15:21:53 1536

原创书生大模型实战营3期 - 进阶岛 - 2 - Lagent 自定义你的 Agent 智能体

(4)接下来，在本地浏览器中打开 localhost:8501，并修改模型名称一栏为 internlm2_5-7b-chat，修改模型 ip一栏为127.0.0.1:23333；(3)启动 Web Demo，同时启用这两个工具，然后输入“请帮我生成一幅山水画”；(注：需使用之前的Lagent Web Demo使用方式)(2)修改lagent/examples/internlm2_agent_web_demo.py 来适配我们的自定义工具。(2)在另一个窗口中启动 Lagent 的 Web Demo；

2024-08-15 13:55:03 1860

wocsdn111的博客

原创书生大模型实战营3期 - 进阶岛 - 6 - MindSearch 快速部署

原创书生大模型实战营3期 - 进阶岛 - 5 - 茴香豆：企业级知识库问答工具

原创书生大模型实战营3期 - 进阶岛 - 4 - InternVL 微调实践闯关任务

原创书生大模型实战营3期 - 进阶岛 - 3 - LMDeploy 量化部署进阶实践

原创书生大模型实战营3期 - 进阶岛 - 2 - Lagent 自定义你的 Agent 智能体

原创书生大模型实战营3期 - 基础岛 - 1 - 书生大模型全链路开源体系

原创书生大模型实战营3期 - 基础岛 - 6 - OpenCompass 评测 InternLM-1.8B 实践

原创书生大模型实战营3期 - 基础岛 - 4 - InternLM + LlamaIndex RAG 实践

原创书生大模型实战营3期 - 基础岛 - 5 - XTuner 微调个人小助手认知

原创书生大模型实战营3期 - 基础岛 - 3 - 浦语提示词工程实践

原创书生大模型实战营3期 - 基础岛 - 2 - 8G 显存玩转书生大模型 Demo

原创书生大模型实战营3期 - 入门岛 - 2 - Python 基础知识

原创书生大模型实战营3期 - 入门岛 - 1 - Linux基础知识

空空如也

空空如也