- 博客(7)
- 收藏
- 关注
RSS订阅原创 随笔（五）
本文摘要：文章探讨了个人金融分析师助手项目中知识库检索系统的优化设计。作者调整了问题分类，将多跳推理归入多工具调用，由分析代理拆解为基本事实查询。针对总结/宏观查询，提出建立目录树结构，通过section_path属性和层级摘要实现高效检索。详细设计了事实查询的三路混合检索方案（dense、hyde_dense、hyde_bm25）及结果融合排序流程，并引入MMR算法保证多样性。附件检索复用知识库设计，区分大小文件处理策略。最后说明增量更新机制，重点复用image/chart/table等高价处理内容。整个
2026-08-13 18:04:03
155
1
原创 随笔（四）
本文摘要： 文章详细介绍了知识库设计的核心环节——分块(chunking)策略及其技术实现。基于增强版JSON文档结构，作者提出了创新的父子分块方案：父块采用滑动窗口分块（1536token，重叠100token），子块固定为100token。针对复杂文档结构，设计了结构化分块与原子块（表格/图片）保护机制，通过句子边界对齐（±70token浮动）确保语义完整。技术实现分为三阶段：1）结构化解析与清洗；2）父块构建（含原子块抽离与末尾合并策略）；3）子块切分（原子块整体保留，普通文本按句子组合）。最终数据将
2026-08-12 18:16:48
228
原创 随笔（三）
本文详细探讨了金融文档解析工具的设计方案，主要包含以下核心内容：1. 采用MinerU作为基础解析框架，区分管道（pipeline）和视觉语言模型（VLM）两种解析模式，针对PDF（原生/扫描）和图片（照片/图表/文字截图）等不同文档类型设计差异化处理流程。2. 通过pymupdf预检实现文档智能路由：基于文字占比区分扫描件与原生PDF，运用垂直投影直方图判断单栏/多栏布局，结合熵值法识别图片类型。3. 构建统一的数据契约体系，采用"回填增强"策略处理解析结果：在原始JSON输出基础上补充视觉模型解析的图意
2026-08-11 11:42:03
326
原创 随笔（二）
【摘要】本文探讨了附件上传系统的用户体验优化方案，提出异步处理与分级响应策略。核心思路是将文件解析（分块）与嵌入（向量化）分离，通过状态机管理任务流程：用户上传后立即触发后台解析，若查询时附件未就绪，采用动态降级机制——5秒内轮询状态，优先返回BM25关键词匹配的局部结果，超时则放弃RAG检索。系统设计包含门控函数统一处理多文档混合状态，输出语义/关键词检索范围及失败名单，确保下游无状态感知。针对金融场景特别处理图表公式等非文本元素，通过VLM模型提取结构化数据增强文档内容。整体架构采用Celery异步任务
2026-08-10 23:30:30
196
原创 开始着手设计一个AI应用相关的系统 ---- 项目起步碰到的难题，有灵感，但是全部混杂在一起，脑子一片浆糊 ---- 随手笔记
本文作者分享了自己开发金融分析师助手项目的心路历程。文章详细记录了从项目构思到架构设计的全过程，包括遇到的困境和解决方案。作者原计划整合RAG、Agent等技术，但实际开发中发现项目复杂度远超预期，涉及多智能体系统、知识库、动态推理等多个模块。重点讨论了架构设计中的嵌套思想、复杂度标签体系、路由分类机制等技术难点，并分享了文档解析和分块上传的技术方案。文章真实呈现了开发者面对复杂项目时的思考过程，以及在AI辅助编程中的经验教训，强调基础理解和模块化设计的重要性。
2026-08-10 12:02:05
264
原创 图谱也可以拿来分块？
本文探讨了Graph在RAG系统中的新应用场景。作者提出Graph不应仅用于检索阶段，而应前移到文档分块环节，作为"分块边界控制器"。通过先构建轻量级文档关系图，识别标题、图表、说明段落等元素间的关联性，可避免将语义相关的内容切分到不同块中。这种方法能生成更完整的chunk，提升后续检索质量，本质上优化了文档预处理流程而非检索系统本身。相比传统GraphRAG先分块再建图的模式，这种"先理解结构再分块"的思路能有效防止关键信息被切碎。
2026-05-16 08:26:16
319
原创 高效解决Neo4j数据库运行时连接失败：实用指南
本文分享了解决neo4j图数据库连接问题的两种方法。作者在使用GraphRAG时遇到连接失败问题，尝试多种AI建议未果。方法一：通过Windows PowerShell获取IPv4地址，在WSL2中测试连接后修改Python脚本URI。方法二：使用Docker拉取镜像运行neo4j。文章特别指出，pip安装的neo4j库与终端指令不同，需要通过apt安装。这两种方法最终都成功解决了连接问题，作者对之前无效的解决方案表示歉意。
2026-02-02 17:20:19
1239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人