u012526436的博客

ChatGPT已经发布一周了热度依旧不减，ChatGPT也各种大显神通，为各大网友“出谋划策”，有写周报的，有写绩效的甚至还有写论文的，作为一个NLP从业者，除了好好体验下其中的乐趣，其背后的原理当然也要有所了解，本文就从其技术细节为大家一一揭开奥秘。

15号Meta发了篇新paper取名hydra attention，各大媒体宣称hydra比vanilla快了197倍，事实真是如此吗，答案是：No，实际上hydra attention的快依赖于你处理的序列长度，该paper的作者主要是在cv上做的测试，对于384px的图片，如果是12层的attention那么FLOPs能减少11%，224px的图片，12层attention的FLOPs减少4%。

文本检索，NLP中的经典问题，其应用场景十分丰富，搜索引擎、智能问答等等。传统的文本检索大部分都是基于统计学的BM25算法，包括ES也是基于BM25的改进，该方案最大的优势在于实现简单，检索速度快，但BM25只考虑了词权，导致检索出来的结果在语义方面有所欠缺。随着业务的发展，老版本基于ES的文本检索能力已经无法满足业务方的需求，更合理的检索结果也能帮助业务方提高解决问题的效率，因此我们需要一套更加高效高质的文本检索系统。

前言俗话说想训练好一个模型，3分靠模型，7分靠数据，然而真实情况往往是缺少数据，高额的标注成本、极为常见的长尾问题都限制了模型的效果。因此数据增强在AI领域基本上是必不可少，在CV中有图片的旋转、裁剪偏移等等，但是在nlp领域中想做好数据增强就有一点麻烦了，一些采样的方法例如smote在深度学习领域更是基本没啥效果。那么有没有什么好的方法，能在各种不同的领域都能做到数据增强并且稳定提升效果呢？MixupMixup是近几年提出来的一种新的数据增强的方法，它的核心思想是采用线性插值的方式从训练集生成新的数

在真实的工业场景中，通常都会遇到长尾问题(部分类别数据很多，部分类别数据量极少，如下图所示)。例如比较典型的风控场景，负样本通常都是极少的，甚至有些负样本需要人工造。对于这样的场景，模型对于样本较少的类别拟合能力是不足的，甚至无法满足上线的要求。目前比较通用的解决方案即采样和加权，但是如何采样，是欠采样还是过采样，如何加权权重怎么设置，这些都包含了较多的方法。本文将会先从这两个方案出发，再扩展到一些其它比较通用、有效的nlp长尾问题解决方案采样采样的方法主要是两种，过采样和欠采样。欠采样是指从过多的