匡博165-优快云博客

原创实现RAGFlow-0.14.1的输入框多行输入和消息框的多行显示

虽然对话的多行输入没有问题了，对话chat上的消息显示没有跟随输入分行，只是将分行的地方加了一个空格，显得很怪异，现在将chat的消息显示也适配一下多行。我使用MacBook Pro，chip 是 Apple M3 Pro，Memory是18GB，macOS是 Sonoma 14.6.1。目前RAGFlow前端的chat功能，输入的内容是单行的，不能主动使用Shift+Enter实现分行。要实现消息内容中的换行处理，确保用户输入的内容能够正确地显示多行，我们需要确保在。中，可以看到消息输入功能是通过。

2024-12-06 10:58:47 1891

原创在macOS上从源码部署RAGFlow-0.14.1

报错：% bash docker/entrypoint.sh docker/entrypoint.sh: line 8: /ragflow/docker/service_conf.yaml.template: No such file or directory，这个错误说明在执行。完成后再次~/.local/bin/poetry install --sync --no-root尝试安装依赖，安装顺利完成。进入想要安装ragflow的目录下，克隆项目，目前最新的版本是0.14.1。

2024-12-03 19:38:53 5107

原创 macOS上进行Ant Design Pro实战教程（一）

由于一个AI项目的前端使用了umi，本教程根据阿里官网上的《Ant Design 实战教程（beta 版）》来实操一下，我使用macOS操作系统，VS Code 开发环境。

2024-11-25 17:08:28 1170

原创使用VSCode远程调试AutoDL上的程序

在租用的AutoDL服务器上基于终端不便进行，而使用远程桌面控制部署也相对麻烦。则需要专业版才能进行远程开发，如果使用Shell启动的程序也没有办法调试，最终选择利用来进行。

2024-09-24 16:09:19 2583 1

原创 PyCharm远程连接AutoDL服务器实现程序调试

本文详细介绍了如何在Pycharm中配置SSH和SFTP，以便于在AOTUDL服务器上进行代码修改、调试。步骤包括新建工程、配置SFTP连接、设置Rootpath和Mapping，以及实现自动上传和下载文件的功能。远程服务器编辑调试只是试用于专业版本的pycharm，我的PyCharm版本是PyCharm 2024.1.3 (Professional Edition)。），确保程序不受SSH连接中断影响程序执行！

2024-09-23 13:48:23 5091

原创如何进行Ubuntu磁盘空间深度清理？

这些步骤可以帮助你进行深度的 Ubuntu 磁盘清理，并释放大量磁盘空间。记得定期清理不再需要的文件和缓存，以保持系统的高效运行。这个操作将系统盘从19G降到了13G，节省了18%系统盘空间。

2024-09-23 10:01:43 2554

原创基于AutoDL部署langchain-chatchat-0.3.1实战

有一个报错：“ FileExistsError: 从文件 samples/test_files/langchain.pdf 加载文档时出错：[Errno 17] File exists: '/root/nltk_data/tokenizers' ” ，将文件'/root/data/Langchain-Chatchat/data/knowledge_base/samples/content/test_files/langchain.pdf'复制到'/root/nltk_data/tokenizers'即可。

2024-09-15 17:43:23 2733 4

原创 InternStudio大模型之路（十七）：销冠大模型案例实战

Streamer-Sales 销冠 —— 卖货主播大模型是一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。以其独特的智能魅力，将彻底改变您的购物体验。该模型能深度理解商品特点，以生动、精准的语言为商品量身打造解说词，让每一件商品都焕发出诱人的光彩。无论是细节之处，还是整体效果，都能通过其细腻、独到的解说，激发用户的购买欲望。模型用xtuner在InternLM2的基础上指令微调而来，部署集成了 LMDeploy加速推理🚀，支持ASR 语音生成文字🎙️，支持。

2024-09-15 10:08:52 2350

原创 InternStudio大模型之路（十六）：MindSearch 快速部署到Github 和 Hugging Face

随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

2024-09-06 12:22:36 2180

原创 InternStudio大模型之路（十五）：茴香豆--企业级知识库问答工具

茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。茴香豆特点。

2024-09-05 12:01:24 1089

原创 InternStudio大模型之路（十四）：InternVL 多模态模型部署微调实践

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。

2024-09-03 18:59:05 845

原创 InternStudio大模型之路（十三）：LMDeploy 量化部署实践

注释：实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。重新执行模型的量化工作，等终端输出如下时，说明正在推理中 (本步骤耗时较长，8小时左右，请耐心等待，可以利用晚上推理，避免白天占用GPU资源)。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。

2024-08-29 10:23:58 1273

原创 InternStudio大模型之路（十二）：使用Lagent 自定义你的 Agent 智能体

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中，我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于。继承BaseAction类实现简单工具的run方法；

2024-08-27 21:08:12 701

原创 InternStudio大模型之路（十一）：探索InternLM模型能力边界

如果天气预报所说的“本周星期三”指的是未来的一天，而昨天（你提到的下雨的日子）确实是下雨了，那么根据一般的日期逻辑，如果昨天是星期二，那么今天就是星期三。这句话通过幽默的方式描述了一个潜在的冲突情景，即妻子威胁要将说话者的头按在键盘上，而说话者则通过一种荒诞的方式回应，即他认为自己妻子的威胁并不严重，因为他妻子的威胁话语中包含了无意义的乱码。讲述者的回应是“我不担心”，因为他觉得妻子的威胁是不可信的，或者说他是以一种自嘲的方式表达对威胁的不在意。“我妻子告诉我，如果我不停止玩电脑，她会把我的头按在键盘上。

2024-08-26 19:21:24 935

原创 InternStudio大模型之路（十）：OpenCompass 评测大模型

确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。在 --debug 模式下，任务将按顺序执行，并实时打印输出。选择开发机类型：个人开发机，输入开发机名称：OpenCompass评测，选择开发机镜像：Cuda11.7-conda。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在。

2024-08-25 15:16:51 718

原创 InternStudio大模型之路（九）：XTuner微调个人小助手认知

本节主要重点是带领大家实现个人小助手微调，如果想了解微调相关的基本概念，可以访问XTuner微调前置基础。我们需要前往 InternStudio 中创建一台开发机进行使用。选择开发机类型：个人开发机，输入开发机名称：XTuner微调，选择开发机镜像：Cuda12.2-conda。资源配置可以选择 30% （如果有更高资源可以使用，也可以选择更高的资源配置），然后点击 “立即创建” 按钮创建开发机。进入开发机之后，请确保自己已经克隆了Tutorial仓库的资料到本地。2、创建虚拟环境在安装 XTun

2024-08-24 22:15:22 953

原创 InternStudio大模型之路（八）：LlamaIndex RAG实践

给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。:（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）运行以下指令，新建一个python文件。运行以下指令，新建一个python文件app.py。

2024-08-24 14:41:01 1179

原创 InternStudio大模型之路（七）：书生浦语提示词工程实践

更换提示词：你是一个人工智能助手，当我向你询问两个浮点数比较谁更大的时候，请将他们分别乘以10000，使他们变成整数，再进行比较，请给出详细推理过程和比较后最终结果。提示词：你是一个人工智能助手，当我向你询问两个浮点数比较谁更大的时候，请将他们乘以10的倍数后使他们变成整数，再进行比较，请给出详细推理过程和比较后最终结果。的控制模式，然后按D退出窗口连接。经检查，发现在模型部署后，没有执行 “服务启动完成后，可以按Ctrl+B进入。注：这个仅仅是提示词的一个演示，并不具有一般性，不能适用大多数情况。

2024-08-23 20:22:43 596

weixin_56460049的博客