NLP项目实战
关注
分享
扫一扫
文章平均质量分 93
愤怒的可乐
主要研究NLP、深度学习、大模型。
展开
-
Lora微LLAMA模型实战
本文介绍如何复现Alpaca-lora，即基于alpaca数据集用lora方法微调Llama模型。原创 2025-03-18 22:16:09 · 958 阅读 · 0 评论 -
InfoNCE Loss详解(上)
InfoNCE对比学习损失是学习句嵌入绕不开的知识点，本文就从头开始来探讨一下它是怎么来的。原创 2024-12-28 12:39:47 · 958 阅读 · 0 评论 -
Cross-Encoder实现文本匹配(重排序模型)
本文介绍了CrossEncoder重排序模型的原理和代码实践。原创 2024-09-10 18:33:15 · 1732 阅读 · 0 评论 -
Sentence-BERT实现文本匹配【CoSENT损失】
目前最流行的文本嵌入训练方法CoSENT详细介绍！原创 2024-09-06 09:03:07 · 1285 阅读 · 0 评论 -
Sentence-BERT实现文本匹配【对比损失函数】
还是基于Sentence-BERT架构，或者说Bi-Encoder架构训练嵌入模型，但是本文使用的是对比损失函数。原创 2024-09-04 09:48:03 · 1702 阅读 · 0 评论 -
Sentence-BERT实现文本匹配【回归目标函数】
我们通过Sentence-Bert提出的分类目标函数来训练句子嵌入模型，本文同样基于Sentence-Bert的架构，但改用回归目标函数。原创 2024-09-03 14:32:10 · 1264 阅读 · 0 评论 -
Sentence-BERT实现文本匹配【分类目标函数】
本文实战Sentence-BERT提出的如何训练嵌入模型的方法，主要是基于句子对的分类目标函数实现。原创 2024-09-03 14:29:49 · 2129 阅读 · 1 评论 -
Llama改进之——分组查询注意力
本文介绍了分组查询注意力的实现以及如何应用旋转位置编码到分组查询注意力上。原创 2024-05-31 18:26:29 · 3748 阅读 · 1 评论 -
Llama改进之——RoPE旋转位置编码
旋转位置编码从理论到实战。原创 2024-05-29 18:30:32 · 2097 阅读 · 0 评论 -
Llama改进之——SwiGLU激活函数
本文介绍如何实现SwiGLU。原创 2024-05-04 14:54:44 · 13294 阅读 · 0 评论 -
Llama改进之——均方根层归一化RMSNorm
本文介绍Llama模型引入的均方根层归一化改进。原创 2024-04-23 22:11:48 · 17983 阅读 · 3 评论 -
GPT2从放弃到入门(四)
本文介绍如何将模型转换为ONNX，并在HuggingFace的Spaces上部署提供给大家访问。原创 2024-03-26 22:49:52 · 1538 阅读 · 1 评论 -
GPT2从放弃到入门(三)
本文介绍文本生成中一些基本方法的原理：温度、TopK、TopP等。这些方法通常可以组合在一起使用。原创 2024-03-23 13:54:40 · 1026 阅读 · 12 评论 -
GPT2从放弃到入门(二)
本文介绍如何利用GPT2从零训练一个多轮对话聊天机器人，按照本文的思路可以轻松地训练自己的数据。原创 2024-03-21 20:35:40 · 1421 阅读 · 0 评论 -
GPT2从放弃到入门(一)
本文从零实现GPT2，在最后通过GPT2实现小说生成器。原创 2024-02-26 18:50:28 · 1616 阅读 · 20 评论 -
手写GPT实现小说生成(二)
介绍了从零实现GPT并训练一个小说生成器的细节。原创 2024-01-26 20:15:00 · 3021 阅读 · 12 评论 -
手写GPT实现小说生成(一)
从零实现GPT模型并训练小说生成器。原创 2024-01-19 19:23:12 · 1587 阅读 · 3 评论 -
Transformer从菜鸟到新手(七)
本文主要介绍束搜索的实现与原理，最后证明通过束搜索可以得到更好的结果。原创 2024-01-16 20:45:00 · 1058 阅读 · 0 评论 -
Transformer从菜鸟到新手(六)
本文介绍KV缓存技术的原理和实现。原创 2024-01-11 20:00:00 · 1077 阅读 · 0 评论 -
Transformer从菜鸟到新手(五)
本文介绍如何利用PyTorch进行多GPU并行训练。原创 2024-01-09 22:50:23 · 1375 阅读 · 0 评论 -
Transformer从菜鸟到新手(四)
本文介绍训练Transformer的一些不可忽略的细节。原创 2024-01-08 09:00:02 · 741 阅读 · 0 评论 -
RE2文本匹配调优实战
在的最后，博主说过会结合词向量以及其他技巧来对效果进行调优，本篇文章对整个过程进行详细记录。其他文本匹配系列实战后续也会进行类似的调优，方法是一样的，不再赘述。本文所用到的词向量可以在文末找到，免费提供下载。完整代码在文末。原创 2023-12-11 19:11:29 · 1302 阅读 · 0 评论 -
Gensim训练中文词向量实战
一步一步利用gensim训练中文词向量原创 2023-12-04 19:25:43 · 839 阅读 · 0 评论 -
MatchPyramid实现文本匹配
把文本匹配看成是图像识别的思路。原创 2023-11-30 20:00:00 · 1217 阅读 · 0 评论 -
RE2文本匹配实战
逐行实现RE2文本匹配原创 2023-11-19 20:23:59 · 434 阅读 · 3 评论 -
BiMPM实战文本匹配【下】
BiMPM实现文本匹配原创 2023-09-29 08:16:55 · 227 阅读 · 0 评论 -
BiMPM实战文本匹配【上】
实现BiMPM进行文本匹配原创 2023-09-29 08:14:40 · 1259 阅读 · 0 评论 -
ESIM实战文本匹配
ESIM模型简单，效果优秀。原创 2023-09-15 23:00:44 · 704 阅读 · 3 评论 -
比较聚合模型实战文本匹配
本文实现比较聚合模型来完成文本匹配任务，对聚合中的CNN进行了充分的阐述。原创 2023-09-10 22:32:05 · 322 阅读 · 0 评论 -
SiameseNet实战中文文本匹配任务
基于SiameseNet实现中文文本匹配，进行了一些小的修改。原创 2023-09-03 22:23:18 · 332 阅读 · 3 评论 -
DSSM实战中文文本匹配任务
用DSSM做文本匹配的套路是怎样的？原创 2023-09-03 09:27:17 · 506 阅读 · 0 评论 -
文本匹配实战系列
文本匹配实战系列文章开篇。原创 2023-08-30 23:05:57 · 541 阅读 · 0 评论 -
LSTM-CRF实战
用LSTM-CRF做命名实体识别原创 2023-06-21 18:20:36 · 1010 阅读 · 1 评论 -
动手实现条件随机场(下)
条件随机场详细图解与示例解析，最终用PyTorch实现一个能打能抗的CRF，逐行代码解析。原创 2023-06-20 06:30:00 · 1021 阅读 · 0 评论 -
动手实现条件随机场(上)
条件随机场详细图解与示例解析，最终用PyTorch实现一个能打能抗的CRF，逐行代码解析。原创 2023-06-19 06:00:00 · 360 阅读 · 0 评论 -
HMM实现中文分词
纯Python实现基于HMM的中文分词。原创 2023-05-29 07:00:00 · 2831 阅读 · 0 评论