- 博客(6)
- 收藏
- 关注
RSS订阅原创 Datawhale AI夏令营 Task3 对Baseline进行微调
LoRA（Low-Rank Adaptation）微调是一种高效的模型微调技术，特别适用于大型预训练语言模型的适应性调整。LoRA的核心思想是通过引入低秩矩阵来调整模型的权重，从而在不显著增加模型参数数量的情况下，实现对模型的微调。LoRA的优势- 可以针对不同的下游任务构建小型 LoRA 模块，从而在共享预训练模型参数基础上有效地切换下游任务。- LoRA 使用自适应优化器（Adaptive Optimizer），不需要计算梯度或维护大多数参数的优化器状态，训练更有效、硬件门槛更低。
2024-08-02 23:24:54
1578
原创 Datawhale AI夏令营 Task2 Baseline精读
提示工程（Prompt Engineering）是一门较新的学科，关注提示词开发和优化，帮助用户将大语言模型（Large Language Model, LLM）用于各场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提升大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计、研发强大的工程技术，实现和大语言模型或其他生态工具的高效接轨。提示工程不仅仅是关于设计和研发提示词。
2024-07-30 23:10:58
918
原创 Datawhale AI夏令营 Task3 基于Transformer解决机器翻译任务
Transformer是一种由Vaswani等人在2017年提出的神经网络架构，最初用于机器翻译任务，但现在已广泛应用于各种自然语言处理（NLP）任务，如文本生成、问答系统和文本分类等。与传统的循环神经网络（RNN）和长短期记忆（LSTM）网络不同，Transformer完全基于注意力机制，不使用任何循环或卷积操作，这使得它在处理长距离依赖关系时更为高效。Transformer模型主要由编码器（Encoder）和解码器（Decoder）两个部分组成，每个部分又由多个堆叠的相同层（Layers）构成。
2024-07-20 19:33:47
758
原创 Datawhale AI夏令营 Task1 入门NLP竞赛
即便如此，但这次的任务还是刷新了我对机器学习的认知。仔细阅读代码的主要部分，发现N和N_EPOCHS可以进行修改。作为一名机器学习的小白，目前还属于什么都不懂的阶段，按照流程走了一遍，提交了自己的第一个结果，只有0.6571分，不出意料......重新跑了几遍发现效果不佳，可能是我没找对方法，也可能是模型的自身原因，但究竟是为何还得等到后面的学习才知道。总之，期待之后的学习内容！接着我开始阅读给出的代码，一脸懵，还好有点python基础，能大概看懂每个模块在干什么，但是具体的细节就一概不知了。
2024-07-14 22:07:50
232
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人