- 博客(4)
- 收藏
- 关注
RSS订阅原创 【第33次CSP】
第33次CSP做题记录提示：以下是本篇文章正文内容，下面案例可供参考简单写了两个基础题，思路比较简单，主要是基础C++语法以及STL的应用。
2025-03-25 00:56:53
304
原创 【Datawhale AI 夏令营第四期 Task4 ：源大模型微调实战】
通过训练极少的模型参数，同时保证微调后的模型表现可以与全量微调相媲美。常用的轻量化微调技术有LoRA、Adapter 和 Prompt Tuning。LoRA 是通过低秩矩阵分解，在原始矩阵的基础上增加一个旁路矩阵，然后只更新旁路矩阵的参数。本节内容以Lora为例，介绍了进行大模型微调的基本方法。同时在课后作业中，完成了更换新的数据集并建立标签，较为成功的训练好了模型。搭建Demo实现了命名体识别的任务。
2024-08-21 23:25:07
789
原创 Datawhale AI 夏令营 第四期 Task3:源大模型RAG实战
为了解决这一问题，提升RAG效果，研究者提出增加一个二阶段检索——重排 (Rerank)，即利用 重排模型（Reranker），使得越相似的结果排名更靠前。本文章中选用基于BERT架构的向量模型 bge-small-zh-v1.5，它是一个4层的BERT模型，最大输入长度512，输出的向量维度也为512。在没有RAG时，如果模型只依赖自己的底层知识进行回答，就很容易出现幻觉，回答中会出现知识库中没有的知识，或者是出现明显的错误。使用RAG之后，模型能够结果知识库中的知识，准确回答用户的提问。
2024-08-17 20:24:58
1066
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人