weixin_43008312的博客

原创 B站实战项目

Service@Autowired@Autowired@Override// 获取基础URL http://localhost:8000// 构建完整的请求URL http://localhost:8000/generate?prompt=XXX// 发送GET请求并获取响应// 从响应中取出 generated_text 字段值返回= null?开放端口。

原创 AutoDL内网穿透、SSH连接本地VSCode

容器–》自定义服务–〉将端口好更改为7860。

原创 modelscope环境准备--装conda、内网穿透、配置HuggingFace

选择需要暴露的端口进行网络穿透，启动LLaMA-Factory-webui项目的请求端口为7860。理论上通过loaclhost:7860可以访问，但是我的这个地址仍然不能访问。将帐户的authtoken添加到cpolar.yml文件。通过下面的地址可以打开LlamaFactory的Web端。cpolar的liinux版本上传到服务器（为了避免冲突，务必在虚拟环境中配置环境。如果出现环境冲突，请尝试使用。

原创 网络通信&微服务

VPN 服务器分配内网 IP，加密所有流量,以使用外网访问内网资源使用了VPN只是第一关，只进入了人家的大厅，只可以访问公共服务（像是只可以在人间公司的大厅里溜达），若想要访问人家提供的高级服务（比如想上楼溜达，还需要预约后得到同意），需要注册并得到同意。这里的注册：你要调用人家的哪些服务，需要（源IP、源port、目的IP、目的port）场景：需要调用另一家公司服务器上的A服务的API接口步骤：1、联通网络（VPN）

原创 Dify部署踩坑指南（Windows+Mac）

⚠️！！！！！！！

原创 RLHF实现专业领域llm微调

构建Prompt数据集。

原创 大模型微调与对齐-RLHF理论（一）

利用收集到的人类反馈数据指导大模型微调，即模型对齐【何为对齐？】让模型听人话【如何让大模型对齐？是大模型对齐的一种具体方法具体讲就是通过设计合适的提示（Prompt）来引导模型的行为。Prompt 是给模型的输入指令，通过对提示的精心设计，可以让模型更准确地理解人类的需求，并按照期望的方式回答问题或执行任务。要点：明确、灵活、引导性。

原创 智能化文档开发（DI）

💡 最后所有模型都训好之后，和后端逻辑一起封装到api中调用。

原创 Paddle实战

PaddleNLP官方帮助文档Paddle帮助文档旧版本对应关系paddleocr默认使用PP-OCRv4模型(–ocr_version PP-OCRv4)，如需使用其他版本可通过设置参数–ocr_version，具体版本说明如下：结果是一个list，每个item包含了文本框，文字和识别置信度可以通过指定参数page_num来控制推理前面几页，默认为0，表示推理所有页设置–rec为false结果是一个list，每个item只包含识别结果和识别置信度通过修改–lan

原创 DeepSeekv3 Build Anything

DeepSeekv3参数量6710以个，但在活跃是每个token的参数仅仅为370亿个，在14.8万亿个token的训练集上训练（100万个token约为75万词），预训练阶段仅需266.8万H800个GPU小时，后续训练阶段也仅需10万GPU小时。【约2个月完成训练，550万美元】传统的Transformer模型（BERT、GPT等）在处理长序列、多模态数据或推理复杂任务时计算效率低，上下文捕捉不足【因为它们在当输入的Prompt非常长时会在中途随机遗忘一些内容】

原创 smell---Paddle-DI

参考文献。

原创 挖空的解决思路

用RagFlow解析完文档后怎么对某些实体的某些参数进行遮挡，给他设置预设好的可选项，并最终整合成文档模版，给我详细讲解怎么实现。解析–实体抽取（Open NRE、UIE）–遮挡–插入可选项–保存模版1–微调训练得模版2。

原创 分布式、集群、Mac M1装Ubuntu、Mac扩容

外置移动硬盘盒。

原创 Mac、Linux命令

查本机IP：ip addr查询文件里符合条件的字符串：grep。

原创 自动化文档处理：Azure AI Document Intelligence

使用常规文档、读取和布局模型在公司中，客户和合作伙伴经常发送各种规范、招标书、工作陈述等具有不确定结构的文档。你想知道 Azure AI 文档智能是否能分析和提取这些文档中的信息。Azure AI 文档智能读取模型可以从文档和图像中提取印刷和手写文本。这是所有其他预生成模型的基础，用于提供文本提取功能。常规文档模型扩展了读取模型的功能，能够提取键值对、实体、选择标记和表格数据。它。实体提取。 常规文档模型可以识别并提取人员、组织和日期等实体。即使文档结构复杂，也能有效提取有用信息。可识别的实体类型包括：

原创 关于Agent

Agent的核心逻辑是让LLM根据动态变化的环境信息，选择执行具体的行动，并反过来影响环境，通过多轮迭代重复执行上述步骤，直到完成目标。总结就是：感知§ — 规划§ — 行动(A)Agent（智能体）指能感知环境并采取相应行动的智能体。

原创 吴恩达--LangChain

这里举例子：一个人的日程安排和一些闲聊，当tokens很大时，可以保留下所有的对话信息，当token减小时，使用SummayBufferMemory对“废话”做摘要。这里举例字让ai把一段粗鲁的非英语翻译成有礼貌的英语，指定了用语言的style和提示词(使用一般的OpenAI)下面使用LangChain，需要导入ChatOpenAI（LangChain对ChatGPT的抽象访问API）之前输出的是str类型的，现在是dict类型。需要pipopenai。

原创 RAG 检索的底座：向量数据库

RAG 检索通常与向量数据库密切结合，也催生了基于 ChatGPT + Vector Database + Prompt 的 RAG 解决方案，简称为技术栈。这一解决方案依赖于（LLMs），。这种检索机制使 LLMs 在面对具体问题时，能够利用存储在向量数据库中的最新信息，有效解决 LLMs 固有的知识更新延迟和幻觉的问题。向量数据库在高效地存储和检索大量嵌入向量方面的出色能力。

原创 爆改RagFlow

中完成的，此方法会根据文件创建一个或多个异步任务，方便异步执行。进行触发的，实际的处理是在。

原创 一定要挖空吗？或许可以换个方式

语气对采购文档训练挖空，我想可以试试根据一个结构化的表格（更便捷高效，简洁明了的指出来哪些数据是我们要关注的点，而不是用训练的方法去找哪些数据对我们是关键的，节省了算力）来生成最终的采购文档，这里可以开发一个表哥填写系统，最后输出一张“采购文档结果指向表”，把这张表喂给大模型，让大模型根据我们给的规则（用“提示词”）来生成一份初代文件，在这个过程中可以加入人为干预来微调模型，更契合我们当下的业务，最后根据不同的业务流可以训练出不同的大模型（采购文档大模型、评标大模型、xxx大模型）

原创 CV实战项目----YOLO

目标检测项目：基于改进YOLOv8 的密集行人检测目标跟踪：重识别姿态检测。

原创 跑大模型内存不足

RAGFlow服务器使用的内存是宿主机（即运行RAGFlow的物理机或虚拟机）的内存。当您在Docker中运行RAGFlow时，您可以通过设置Docker容器的内存限制来调整RAGFlow使用的内存。这个内存限制是在Docker容器的配置中设置的，通常是在docker-compose.yml文件或者.env文件中指定的。MEM_LIMIT=34359738368（即32GB）1、修改.env文件MEM_LIMIT值。2、重新启动RAGFlow服务。3、查看宿主机还有多少可用内存。

原创 构建知识图谱---属性抽取+文本分析

如何进行大规模属性抽取以及从非结构化文本中发现新的属性及属性值属性抽取的主要流程：1、给定实体的以及实体的2、基于三元组词典对描述文本进行，标注方式分为BIO/BMES/BIOES三种3、使用标注数据神经网路模型4、

原创 RAG+Agent人工智能平台

RAG+Agent人工智能平台

原创 RagFlow搭建私有化知识库

♥♥♥知识库、无幻觉聊天和文件管理是RAGFlow的三大支柱。RAGFlow的AI聊天基于知识库。RAGFlow的每个知识库都作为知识源，将从本地机器上传的文件和文件管理中生成的文件引用解析为未来AI聊天的真正“知识”。

原创 救救孩子吧：RagFlow解析文档一直卡在83%不动，令人头大

我上传了一个5页的pdf格式论文，解析一直停留在83%ragflow-slim容器的部分配置信息。我的docker内容器。

原创 docker（wsl）命令 帮助文档

wsl -l -v列出所有已安装的 Linux 发行版关闭所有正在运行的WSL发行版。如果你只想关闭特定的发行版登录到Ubuntu环境查看正在wsl中运行的linux发行版(系统名称) 注销(发行版) (安装位置) (文件路径以及文件名称)检查 WSL 状态输出将包括文件系统、大小、已用、可用、使用百分比和装载位置等信息free -m查看内存、swap大小查看处理器个数。

原创 压力测试总结

事先定好目标QPS，如果上去随机乱压可能会把系统压坏找出系统“水位”，在系统资源濒临阈值【如：CPU利用率濒临xx% or 硬盘使用率濒临xx%】或资源报警时，QPS以及对应的RT为该系统的水位。

原创 企业级性能压测场景

破坏性压力测试【极限测试】：最大并发用户数，可能会伴随可恢复性测试（单机、集群）目的：获取耽搁接口在没有压力的情况下各项性能指标，作为其他场景的参考依据。单交易（接口）负载测试：验证单个接口的最大处理能力及其他性能指标的表现。：并发用户数的上限，一旦超过那么响应时间无法容忍5s，TPS下降。单接口（单交易）：使用一个用户持续1分钟以上（通常是1分钟））、吞吐量（TPS、OPS、RPS）、资源利用率（多交易负载测试：（流程负载测试、混合负载测试）核心性能指标：并发用户数、响应时间（：系统资源利用率最高。

原创 omniparser部署

从 Docker Hub 中提取 OmniParse API Docker 镜像。运行 Docker 容器，公开端口 8000。

原创 如何挖空？

原创 RagFlow上传文件解析时卡住、失败

解决方案：尝试通过增加 docker/.env 中的值来增加内存分配。原因：解析进程可能会因 RAM 不足而终止。

原创 ragflow连不上ollama的解决方案

由于前期wsl默认装在C盘，后期部署好RagFlow后C盘爆红，在连接ollama的时候一直在转圈圈，问其他人没有遇到这种情况，猜测是因为内存不足无法加载模型导致，今天重新在E盘安装wsl。

原创 本地WSL（Ubuntu）RAGFlow连接Ollama

本地WSL/Docker Desktop部署：RAGFlow

原创 ragflow连ollama时出现的Bug

这里可能是我一开始拉取的镜像容器太小，容不下当前添加的模型，导致无法去设置模型。左边栏中的系统应该是当前运行的容器。

原创 ollama和RagFlow连不上

关于基础URL的几点说明版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.youkuaiyun.com/weixin_47782004/article/details/144144363。

原创 RagFlow 文档解析

RAGFlow 的设计哲学是“高质量输入，高质量输出”，它通过提供可解释性和可控性的生成结果，让用户能够信任并依赖于系统提供的答案。

原创 Ollama

浏览器访问 http://localhost:11434。

原创 快速构建NLP理论知识体系

如果我们要实现机器翻译、情感分析、问答系统、文本摘要、聊天机器人、构造智能化的辅助文件填写模板，NLP可以通过现成的模型对输入的语音、文字、图片进行处理（分词、标词性、去停用词、词干提取、向量化等）实现上述任务，这其中的底层逻辑是基于RNN、LSTM、GRU、Att机制的，而在对模型的训练过程中会涉及到优化算法（SGD、Adm）、正则化技术（防止过拟合，L1、L2）、迁移学习（加速新任务学习）以及一些概率模型（隐马尔可夫模型之类）的使用。

原创 本地化部署RagFlow记录

前期由于Docker关闭服务导致镜像拉取不成功，在更换好镜像源后可以正常拉取Docker启动需要进入Ubuntu-22.04如果 vm.max_map_count 的值小于 262144，可以进行重置利用提前编译好的 Docker 镜像启动服务器启动成功界面好了，现在它可以动了，但是我想因任务不同我们需要的yml配置不一样，所以我们最好针对不同的任务去找合适的配置，现在打算先对当下任务配置一个虚拟环境方便后期的管理，然后再去找合适的yml文件重新配置（如果有需要）