- 博客(12)
- 收藏
- 关注
原创 DataWhale秋训营 | 应急管理智能问答系统构建之旅:从技术实现到业务洞察
本文分享了作者开发“应急管理智能问答系统”的完整历程,重点突出了从数据中发现业务真相的实战经验。核心成果包括:1)设计混合问答架构(RAG+表格查询);2)验证59道数字题,修正16个错误答案;3)推导火灾危险性等关键编码字典。关键发现揭示了字段映射、编码缺失等常见陷阱,如企业名称字段实际存储代号、风险等级编码无官方字典等。作者通过数据分布分析建立映射关系,并强调系统化验证流程的重要性。最终实现已验证问题准确率提升27%,形成可复用的质量保障体系。文章强调:技术只是工具,深度理解业务逻辑才是系统实用的关键。
2025-10-29 12:18:25
1118
1
原创 DataWhale秋训营:动手开发RAG系统(应急安全方向)-task3笔记
本文聚焦应急管理RAG系统的实战优化,重点探讨了数据脱敏、答案验证等关键问题。针对企业名称字段歧义,通过建立映射函数实现代号转换;针对数字类答案高错误率,构建自动化验证框架并推导编码字典,将准确率从44.8%提升至100%。系统优化方面,完善了Text-to-Code引擎、混合检索架构和多层次分类体系,并建立了数据入库标准化流程和查询性能优化策略。最终形成的数据验证和质量保障体系显著提升了系统可靠性和实用性。
2025-10-28 23:16:00
478
原创 DataWhale秋训营:动手开发RAG系统(应急安全方向)-task2笔记
本文提出面向应急管理领域的智能问答系统优化方案,重点解决危化品监管中的数据异构性和查询复杂度问题。通过构建意图分类器实现问题分流(文本/数据/混合类),采用文本RAG引擎和表格查询引擎双模式处理。核心创新包括:混合检索机制(向量+关键词)、基于业务规则的Text-to-Code转换、结构化文档预处理(章节分割+元数据增强)。本地部署采用Qwen2.5-14B模型与BGE-M3嵌入模型,通过量化、批处理和缓存策略提升性能。方案有效解决了复杂查询处理和本地资源限制等关键挑战,为安全生产监管提供智能化支持。
2025-10-26 22:23:08
857
原创 DataWhale秋训营:动手开发RAG系统(应急安全方向)-task1笔记
本文介绍了使用GitLFS管理大型文件的步骤和Shell脚本的执行配置方法。主要内容包括:1)安装GitLFS并克隆仓库;2)修改脚本权限并执行;3)详解run_baseline.sh脚本,包括环境变量设置、Python包安装和脚本执行流程。重点说明了API密钥配置、必要依赖安装及执行路径注意事项,为项目部署提供了完整指导。
2025-10-22 00:20:06
543
原创 datawhale夏令营:动手开发大学生心理健康Agent——小白笔记
本文介绍了一个基于AI的大学生恋爱咨询系统,采用Gradio构建交互界面,系统包含情感分析、恋爱建议和智能对话三大核心功能。文章详细说明了开发环境配置(Python环境、虚拟环境设置、依赖安装)和项目结构设计,包括数据库管理、AI代理、用户界面和对话记忆管理等模块的实现方法。系统使用SQLite存储用户咨询记录,通过OpenAI API生成智能回复,并采用Gradio框架实现Web交互界面。最后提供了本地测试方法、部署方案(ModelSpace、HuggingFace Spaces等)以及未来扩展方向,如增
2025-08-07 01:30:28
468
原创 机器学习第六章——支持向量机思维导图
本文系统介绍了支持向量机(SVM)的核心理论与拓展应用。首先阐述了最优间隔分类器与支持向量的基本概念,随后深入探讨了对偶问题的求解方法。重点解析了核函数在非线性分类中的应用,以及软间隔处理与正则化技术。同时介绍了支持向量回归(SVR)模型,并展示了核方法在PCA、岭回归等算法中的拓展应用。文章还总结了SVM的核心特性,并提供了数学符号说明与补充内容。全文涵盖了从基础理论到高级应用的完整知识体系,为理解SVM提供了系统性的指导。
2025-08-03 23:21:25
178
原创 机器学习第五章——神经网络思维导图
本文系统介绍了神经网络的核心内容:首先阐述神经元数学模型,解析感知机与多层网络结构;重点讲解误差逆传播算法原理;分析训练中遇到的局部极值点和鞍点问题;概述其他神经网络及深度学习发展;最后总结关键知识点与实践注意事项。全文由浅入深,覆盖神经网络基础理论与典型问题,为学习现代深度学习奠定基础。
2025-07-31 23:24:48
243
原创 机器学习第四章——决策树思维导图
决策树是一种可解释性强、训练效率高的机器学习模型,支持分类和回归任务。其核心包括划分选择标准、剪枝处理、连续值与缺失值处理方法,以及多变量决策树的构建。决策树通过树形结构实现直观的分类决策过程,具有模型透明度高和计算效率快的特点,适用于各种数据挖掘场景。
2025-07-28 23:47:40
259
原创 机器学习笔记第一、二章
机器学习通过算法从数据中构建预测模型,其核心在于学习算法将经验数据转化为有效决策模型。假设空间和归纳偏好共同决定模型效果,需根据问题特点选择适当偏好,遵循"奥卡姆剃刀"的简化原则。NFL定理表明不存在通用最优算法,算法选择必须针对具体问题。机器学习发展至今已广泛应用于各个领域,其效能取决于对问题特性的精准把握和算法的合理选择。
2025-07-17 00:14:30
210
原创 [Datawhale AI夏令营]大模型技术-基于带货视频评论的用户洞察挑战赛baseline学习笔记
摘要:本文介绍了使用Python进行文本数据处理和机器学习的完整流程。首先通过pandas读取视频和评论数据,然后利用jieba进行中文分词,构建包含TF-IDF特征提取和分类器(SGDClassifier)的机器学习管道,预测视频产品名称和评论多类别标签。接着使用KMeans进行文本聚类分析,最后将处理结果保存为CSV文件。整个流程涵盖了数据读取、文本预处理、特征提取、模型训练预测及结果保存等关键步骤,展现了文本分析任务的典型技术方案。
2025-07-09 00:04:53
1038
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅