- 博客(54)
- 收藏
- 关注
RSS订阅原创 机器学习基本概念
预期输出为Y=-1，在对比xg的时候，输出为y=1那么此时修正W。经过变换之后得到h(x)，这个threshold其实就是常见的 f(x) = WX + b中的b，直线公式就是WX + b = 0。这是一个证明某人是否能够贷款的公式，当他的分数大于threshold的时候则认为可以贷款。由此可得W与分类直线在几何上垂直，推理到高纬也是如此，另外W也被叫做法向量。在某一t轮中，此时的W已经确定，输入X，输出Y。机器学习就是在不断迭代更新W的过程，直到找到一个最适合的W。W就是在这多维上的值。
2025-12-12 13:51:08
211
原创 从MaxKb到Dify：一招搞定可检索的高质量文档切分
Word 样式名（Heading/标题/TOC 标题）+ 字号兜底 → 输出 #…首先提取部分要提取出结构化的md标题，方便后面split进行切分。可以看到召回效果显著提升。
2025-09-17 20:19:43
996
原创 Dify 父子模式详解：如何实现模块化与高效协作
文章摘要：本文分析了父子模式的实现机制，包括两种父节点模式（段落模式和全文模式）的切分策略，以及子节点的切分方法。在全文模式下，文档内容被直接拼接后切分；在段落模式下，每个段落独立切分。子节点通过特定方法进行切分，并仅将子节点存入向量数据库。检索时先召回子节点，再通过格式化方法构建父子关系，确保检索结果的完整性和相关性。
2025-08-26 16:29:15
473
原创 深入解析Dify工作流Answer节点的流式输出机制
摘要 本文探讨了工作流系统中并行节点执行时的输出顺序问题。研究发现，当多个分支同时执行时，输出顺序可能与预期不符，主要原因是系统采用了以下机制：1) 每个节点完成时都会触发流式输出尝试；2) 静态文本和可用变量会立即输出，而无需等待节点实际执行；3) 实际节点执行时才会生成完整输出。这种设计导致非阻塞分支的输出可能先于耗时分支显示，造成表面上的"混乱"。文章详细分析了事件触发机制、依赖关系处理和输出生成逻辑，并给出了节点执行顺序的解释模型。
2025-08-20 13:38:27
4055
原创 工作流调度（草稿）
串行回复当我加上第三条分支，此时的输出就很混乱了，按理来说最后输出的第二波输出反而先结束了，调用LLM结果的第一波输出最后才输出，这是为什么？
2025-08-12 21:10:30
248
原创 Text2SQL 智能问答系统开发-spider验证集（三）
本文介绍了Text2SQL系统的实现进展与后续优化计划。系统已完成基础功能开发，包括自然语言转SQL、用户交互优化、模糊时间处理、预定义问题回答等功能，并引入高质量测试集验证效果。后续将重点优化知识库建设、持续学习机制、智能纠错和多路径打分机制，提升SQL生成质量。同时，文章详细说明了如何基于Spider验证集搭建测试环境，包括数据库迁移步骤，使用Python脚本将SQLite数据批量导入PostgreSQL，为系统测试提供真实数据支持。
2025-08-06 15:46:46
1140
原创 RTX5060显卡安装cuda版本PyTorch踩坑记录
显卡：RTX5060：python版本：3.10.18CUDA版本：12.9nvidia-smi。
2025-08-04 17:14:11
5044
3
原创 Text2SQL 智能问答系统开发-预定义模板（二）
编号问题描述SQL 模板类型Q1查询某城市的客户公司名称SQL模板Q2查询某一年的订单数量SQL模板Q3查询某个客户的所有订单SQL模板Q4查询每个产品的总销售数量完整SQLQ5查询某库存阈值以下的产品SQL模板Q6查询某员工经手的订单SQL模板Q7查询某时间段内的订单数SQL模板Q8查询某类产品的销售明细SQL模板Q9查询某个供应商提供的产品SQL模板Q10查询某年每个月的订单数SQL模板。
2025-07-31 17:45:07
822
原创 Text2SQL智能问答系统开发（一）
本文介绍了面向企业的ChatBI工作流开发进展，重点实现了Text2SQL功能与用户交互优化。系统通过问题分类机制（直接提问、补充修正、异常反馈、格式要求等）动态处理用户查询，并设计了意图识别和智能补全模块提升交互体验。后续将优化预定义回答、知识库建设和持续学习机制。测试显示系统能有效处理模糊时间查询、多轮提问和结果格式调整等场景。该方案为企业数据分析提供了高效的对话式查询解决方案。
2025-07-24 20:50:36
995
原创 RagFlow OCR实战踩坑：识别失败、多行切割排查
本文记录了OCR模型识别文本过程中的问题排查与解决方案。主要问题包括：部分识别结果为空、多行内容无法分段、蓝底白字识别效果差以及显存溢出。通过添加调试代码、引入Y方向投影切分法、优化批量识别逻辑和改为逐box单独识别等方法解决。后续可优化不同背景的文本识别能力并升级模型。最终实现了OCR识别的稳定性与准确性提升。
2025-07-08 17:00:24
714
原创 用Dify+ArangoDB打造完美RAG2SQL，告别表结构不足与SQL报错
本文对比了知识库方案与图数据库方案在SQL生成中的差异，重点分析了两种方案在可调试性、可维护性和处理复杂查询方面的优劣。研究表明，图数据库方案通过结构化查询路径和任务解耦，显著提升了系统可控性和稳定性，尤其适用于多表JOIN等复杂场景。文章详细介绍了基于ArangoDB的架构设计和工作流程，包括RAG检索、LLM过滤、SQL生成与执行等关键环节。通过实际案例展示了如何利用ArangoDB插件实现文本到SQL的转换，并提供了系统配置和初始化方法。实验结果表明，图数据库方案能够有效减轻LLM负担，提高SQL生成
2025-07-04 17:59:43
1163
原创 RagFlow 源码部署启动指南
阅读源码发现其实就是启动 task_executor.py 和 ragflow_server.py 两个服务，但是还有相关的环境变量不知道怎么设置。不知道原因：后面新建了个环境变量文件，把所有的注释都去掉，就能用了。如果已安装，可跳过。#redis_port 无法解析。配置文件示例（建议放入。
2025-07-01 20:13:36
2061
1
原创 MCP 与 Dify 工具系统的区别详解：远程调用、工具发现与智能调度
Dify更适合固定功能场景，配置简单，但灵活度较低；MCP更像是 AI 的“工具集线器”，适用于复杂任务、多工具调度场景。
2025-06-17 15:13:02
1144
原创 poetry踩坑记录
服务器更新poetry报错：pyproject.toml changed significantly since poetry.lock was last generated. Run poetry lock [–no-update] to fix the lock file.后面发现是因为我的poetry版本和服务器版本不一致，我的版本是poetry 2.xxx，服务器的是poetry 1.xxx。使用poetry add pkg之后在服务器无法更新。
2025-06-13 10:22:15
646
原创 dify中解决docx上传文件报错问题
严谨验证文件类型，避免因扩展名欺骗导致异常；构建健壮的容错逻辑，提升系统的可用性和用户体验；提供清晰的反馈信息，帮助用户自行解决问题，减少客服压力。对于希望兼容.doc文件的开发者，可以进一步使用pywin32或Mammoth等第三方工具，甚至调用 LibreOffice CLI 实现.doc转.docx，但这涉及系统依赖部署，不适合轻量级 Web 服务。
2025-06-04 20:43:42
1909
原创 【记录】dify文件下载功能预研
本文介绍了如何通过方法调用追溯实现文件下载功能。首先，通过Web请求定位上传API，并逐步追溯找到文件存储位置。虽然存储类中已实现下载接口，但其仅将文件下载到指定目录，无法直接使用。真正的文件下载功能通过加载文件内容并返回实现。通过追溯调用入口，最终找到并调整了文件下载方法。测试代码展示了如何通过Python和JavaScript实现文件下载功能，并解决了编码格式错误的问题。最终，根据项目需求，可以重新命名一个download-file接口来满足文件下载需求。
2025-05-23 09:46:14
2693
原创 BM25 算法与关键词提取在向量数据库中的实践优化
本次针对向量数据库中 BM25 匹配效果差的问题，从关键词缺失、分词不一致、语料结构单一等多个角度进行优化，主要提升措施包括：● 增加分词字段 segmentedQuestion / tokenized_content；● 插入和查询统一使用 jieba 分词；● 尝试结合 keyword 库 + PostgreSQL，但因性能问题暂时搁置；● 最终实现了一种高效、稳定的 hybrid 检索方案。📌 关键词召回 + 向量语义检索，将是构建强大问答系统的未来主流方案。
2025-05-16 18:12:54
1328
原创 深入理解大模型分片优化：Late Chunking 技术解析
在编码前，将长文本切分成多个小段（如按固定 token 数、换行符、标点等），每段单独送入模型，单独编码。优点：实现简单缺点每个 chunk 独立编码，上下文信息丢失重复计算（重叠窗口）浪费资源对于每个样本中每段的，提取对应 token 的 embedding；对该区间执行；将结果转换为 numpy 向量，方便存储/检索。特性模型调用次数多次一次上下文信息丢失保留全局上下文实现复杂度简单稍复杂（需记录 span）聚合策略灵活性固定切片高度灵活，支持任意切分逻辑。
2025-05-09 15:42:07
1096
原创 魔塔社区使用llamafactory微调AI阅卷试题系统
文本生成质量： BLEU 和 ROUGE 分数都不算高，说明模型的生成结果和参考答案差距较大，可能需要调整训练数据或改进模型结构。推理性能： 运行时间较长，处理速度较慢，可能与模型大小、计算资源或者 batch size 有关。
2025-04-02 16:05:27
1821
1
原创 解决auto_gptq安装问题
llamafactory任然可能会报错环境问题，重启llamafactory可能可以解决问题。在操作量化操作的时候显示需要安装auto_gptq。本地环境：autodl-ai租的服务器。安装了llamafactory，
2025-03-31 12:06:39
745
原创 什么是模型量化
模型的量化（Quantization）是一种优化技术，主要用于减少深度学习模型的计算复杂度和存储需求。它的核心思想是将模型中的高精度浮点数（通常是 32 位或 16 位）转换为低精度整数（如 8 位或 4 位），以降低计算成本，同时尽可能保持模型的性能。
2025-03-31 11:00:27
532
原创 Kafka架构概述
顺序写入磁盘，减少磁盘寻址时间。零拷贝（Zero-Copy），减少 CPU 和内存拷贝开销。批量处理，减少 IO 操作，提高吞吐量。分区机制，支持高并发读写，提高吞吐能力。日志结构（Append-Only Log），减少索引和更新开销。异步生产者，减少发送延迟。分布式架构，支持集群扩展，提升可用性和吞吐量。数据压缩，减少网络开销。消费者组并行消费，充分利用计算资源。
2025-03-20 11:01:52
739
原创 Redis 数据结构类型及使用场景深度解析：HyperLogLog、Geospatial、Streams 和 Bitmaps
Redis 提供了多种数据结构，每种数据结构都适用于不同的业务需求。以下是 Redis 支持的常见数据结构及其简要说明：String：简单的字符串类型，适合存储标量数据。List：列表类型，适用于存储有序的数据。Set：集合类型，适用于存储无序的数据。Sorted Set (ZSET)：有序集合，适用于存储有序的唯一元素，并按 score 排序。Hash：哈希类型，适用于存储键值对。Bitmaps：用于处理大量的布尔值。HyperLogLog：用于统计基数（不重复的元素数量）。
2025-03-14 10:54:25
1013
原创 华为od机试自测
网上只能收到相关题目，没有地方可以验证是否ac，最近发现一个网站可以测试自己的算法是否ac。这是相关博客和网站地址，大家有兴趣可以了解下。
2023-08-19 14:45:28
156
原创 记一次TIDB sql OOM
如果直接用一个for循环去分批请求数据库的话，那么io成本太高了，请求一次100ms，10次就是1s了，接口响应时间太长，需要优化。尽管解决了oom的问题，但是数据库的压力还在，使用redis减轻数据库的压力。)，这里的id可能会有很多，可能有好几百，因此想到优化方式，分批查询。通过将id分为n等分，然后再去数据库中查询，再将查询结果合并，以达到同样的效果。一个请求的返回内容也不少，如果缓存太多的话会造成服务器资源消耗过多，不能直接存入服务器。请求参数一般都不短，直接使用字符串的话，数据太大，不合适；
2023-05-05 15:40:59
318
原创 记sanic的Linux环境迁移到windows过程
根据报错定位到绑定蓝图的地方，发现我们一般name是默认的，sanic的默认name格式为：package.func_name，绑定的时候显式指明即可：name=package.file_name.func_name。在Linux的时候我发现它只会跑一次，然后再windows上面他会跑两次，并且跑两次没有任何报错，但是就是无法访问（可能是另外一个问题，下文会提到，但是作者当时没有意识到）最新版本的sanic多了一个主进程和子进程的关系，贼恶心，还记得我之前是直接卸载重装的sanic么，版本不一致了。
2023-04-25 15:05:07
360
原创 django中间件的简单理解
中间件中间件，是介于request和response之间的一道处理程序，比较轻量级，可以在全局范围改变django的输入与输出，由于它的影响是全局的，写的不好有可能会影响性能。在请求到来之前和请求处理完成之后，都需要经过中间件的处理，我们可以自定义一些中间件来做一些额外的处理，例如：记录日志、黑白名单限制、恶意访问用户拦截等、登录认证，没有登录过的玩家都转向login路径等。使用创建一个自定义类：继承自django.utils.dprecation 的MiddlewareMixin在类中定
2022-04-23 22:29:16
643
原创 剑指offer算法
题目转载自：https://leetcode-cn.com/problems/yong-liang-ge-zhan-shi-xian-dui-lie-lcof1. 用两个栈实现队列用两个栈实现一个队列。队列的声明如下，请实现它的两个函数 appendTail 和 deleteHead ，分别完成在队列尾部插入整数和在队列头部删除整数的功能。(若队列中没有元素，deleteHead 操作返回 -1 )思路：一个栈专门入stackin，一个栈专门出stackout，stackout为空时，就去stac
2022-03-06 20:24:31
193
原创 go语言中的导包
go语言如何导包？参考链接李文周的博客在go语言中，一个包可以理解为存放.go文件的一个文件夹。go文件的第一行package声明了这个go问价属于那个包。注意：同一个文件夹之下只能有同一个包的go文件。测试：我想在fridge/main.go中导入util/util.go，只需要输入以下代码即可, 注意，导包路径不需要写绝对路径，写go/src目录下得相对路径即可，所以我这里导入的是dzh.com/PXZ/utilpackage mainimport ( "dzh.com/PXZ/ut
2022-03-06 20:07:39
1794
原创 GOBIN must be an absolute path 报错解决办法
教训：无脑COPY总有一天会出大问题在使用go get 命令的时候碰到了这个问题，一直无法安装成功使用go env 查看环境变量GOBIN到底是多少很明显看到这个路径是相对路径，并且不知道是copy了谁的路径使用go env -w GOBIN=C:\Users\pxz\go\bin ，重新设置GOBIN环境变量即可成功安装...
2022-03-05 20:36:06
2035
1
原创 go语言中的正则表达式
关于正则表达式的基础语法，这里就不赘述了go中使用以字符串text := " <a href="/test/2021-03-17/5436.html" target=########### ">"为例，我们需要提取字符串中href指向的地址text := " <a href=\"/test/2021-03-17/5436.html\" target=########### \">"// 生成正则对象，类似Python中的re.compile// 特别说明,正则中的()是分
2022-02-21 21:55:42
376
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人