- 博客(7)
- 收藏
- 关注
RSS订阅原创 RAG进阶攻略：从解析到优化的全流程指南
知识库质量优化（文档解析升级）关键工具：MinerU解析PDF，保留层级结构（标题/段落）、转换表格为Markdown、支持多模态描述。优势：解决Baseline的文档解析粗糙问题，减少信息丢失（如表格/图片）。实践建议：从函数入手，确保和参数配置正确，以生成结构化数据。检索精度提升（策略与模型优化）重排机制：使用FlagReranker模型（如）进行两步检索（先向量召回Top 20，再精筛Top 3-5）。计算相关性评分。微调方案。
2025-08-14 21:35:46
570
原创 模型蒸馏数学推理赛上分指南（Datawhale AI夏令营）
本文介绍了模型蒸馏技术在数学推理竞赛中的应用，核心目标是将大型教师模型（DeepSeek-R1）的推理能力迁移至轻量学生模型（Qwen系列）。流程分为四步：数据准备、教师模型生成CoT推理数据、LoRA微调学生模型、提交评测。关键策略包括优化Prompt设计、控制数据质量和调整LoRA参数（学习率2e-5~1e-4，训练3-5轮）。评分标准综合考量答案准确率（40%）、推理质量（30%）、解题效率（20%）和模型轻量（10%）。特别指出LoRA微调结合蒸馏数据是最佳策略，能兼顾推理质量与模型压缩。
2025-07-26 19:03:10
404
原创 讯飞「基于带货视频评论的用户洞察挑战赛」（大模型技术方向）
dataset = [ ['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], # 切分的词条。TF-IDF的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。逆向文件频率 (IDF) ：某一特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到。词频（TF）表示词条（关键字）在文本中出现的频率。
2025-07-13 14:11:46
330
原创 从零入门AI for Science（AI+经济）（Datawhale夏令营）
本次赛题是不同电力公司主体的博弈下对市场出清价格的影响下，使用数学模型（主办方期待选手使用ABM模型）预测未来的市场出清价格。
2024-07-28 21:58:49
422
原创 从零入门NLP竞赛(Datawhale夏令营）
使用交叉注意力（Cross-attention）方法，同时接收来自编码器端的输出以及当前 Transformer 块的前一个掩码注意力层的输出。查询是通过解码器前一层的输出进行投影的，而键和值是使用编码器的输出进行投影的。它的作用是在翻译的过程当中，为了生成合理的目标语言序列需要观测待翻译的源语言序列是什么。基于上述的编码器和解码器结构，待翻译的源语言文本，先经过编码器端的每个Transformer 块对其上下文语义的层层抽象，然后输出每一个源语言单词上下文相关的表示。
2024-07-20 21:57:07
783
原创 NLP 自然语言处理( Datawhale AI 夏令营)2
一. Seq2Seq模型序列到序列（Sequence-to-Sequence，简称Seq2Seq）模型是一种深度学习架构，主要用于处理输入和输出都是变长序列的任务，例如机器翻译、文本摘要、语音识别转文字、聊天机器人对话等自然语言处理任务。Seq2Seq模型的核心思想是使用两个主要部分组成的神经网络框架：编码器（Encoder）和解码器（Decoder）。更多：含注意力机制的Seq2Seq模型链接。
2024-07-17 22:01:49
891
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人