justorderman的博客

近些年来，关于预训练语言模型（PLM）的研究数不胜数，Prompt-Tuning就是其中之一主打小巧轻便，更加普适高效，各种花式的魔改，例如 Prefix-tuning、P-tuning、Prompt-tuning等。如果对Prompt不大了解的朋友们可以移步我的另一篇文章https://mp.weixin.qq.com/s?__biz=MzkxMjExNTgwOQ==&mid=2247484234&idx=1&sn=e44ba444c3f12438671df91dffae03c3&

如何引入外部知识增强短文本匹配？

文章目录一、提出动机二、核心idea2.1 将场景信息以及提示信息融入到预训练模型2.2 扩展Verbalizer（就是要映射到label的单词）三、实验结果四、总结hi，各位伙伴们早上好，好久没有更文了，最近也没有发觉特别有意思的论文，今天给大家带来一篇和Prompt相关的论文，欢迎食用~论文地址：https://export.arxiv.org/pdf/2202.04824.pdf一、提出动机1）本文作者认为Prompt的提示信息不能被预训练模型充分挖掘使用2）下游任务的数据不能很好地应用于

目录一、Mask Launage Model1.1 核心思想1.2 mlm源码1.3 整词掩码二、Next Sentence prediction三、总结hi！又到每周分享的时刻了，希望大家能有收获呀！！！！！！！！！！！”BERT“ 这个词相信大家已经不在陌生了, 发布至今，BERT 已成为 NLP 实验中无处不在的基线。这里稍微扯一下什么是BERT毕竟不是今天的重点，BERT在模型架构方面沿用了Transformer的Encoder端（不知道什么是transformer的小伙伴们可以去阅读论文：)

文章目录一、PET1.1 PET建模1.2 如何选取Prompt模板1.3 预测得token如何映射label1.4 实验结果二、KPT2.1 主要idea2.2 标签词的扩展2.3 标签词去噪2.4 语言表达器的使用2.5 实验结果三、P-tuning3.1 核心idea3.2 实验结果四、总结与展望五、参考资料hi！又到每周分享的时刻了，希望大家能有收获呀！！！！！！！！！！！什么是Prompting ？它和Fine-tuning有什么区别？这里引用CMU刘鹏飞博士放在博客里的图：prompt是

解读源码前先大致了解下什么是Bert吧Bert用了Transform的encoder侧网络，作为一个文本编码器，使用大规模数据进行预训练，预训练使用了两个loss，一个是LM Mask,遮蔽源端的一些字，通过上下文去预测这些字。还有一个是next sentence prediction，判断两个句子是否在文章中互为上下句，然后使用大规模的语料库去预训练。模型结构如下：Bert base 具有12层上图所示的结构，每一层包含 multi-head Attention、Feed Forward两层子结构

一、SVM基本形式1、线性可分在二维空间上，两类点被一条直线完全分开叫做线性可分。2、最大间隔超平面从二维扩展到多维空间中时，将 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-irOQyuZ7-1620038837467)(https://www.zhihu.com/equation?tex=D_0)] 就成了一个超平面。为了使这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面。两类样本分别分割在该超平面的两侧.

文章目录一. One-Hot 编码与词嵌入1.1 One-Hot 编码1.2 词嵌入二. Word2Vec2.1 Skip-Gram三. Glove四. 利用gensim简单使用Word2Vec在进入主题之前我们先了解两个概念：One-Hot编码与词嵌入一. One-Hot 编码与词嵌入1.1 One-Hot 编码one-hot编码说白了就是用0,1两个数字来表示一个单词或者字符。比如我有10000个单词的corpus,然后love这个单词在语料库的顺序为1那么我可以用向量[1,0,0,0,0,…0

1.快速了解SVM支持向量机（support vector machines,SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；而且SVM还支持核技巧，能够对非线形的数据进行分类，其实就是将非线形问题变换为线性问题，通过解变换后的线性问题来得到原来非线形问题的解。举个例子来说明支持向量机是来干什么的吧！将实例的特征向量（以二维为例）映射为空间中的一些点，就是如下图的圆心点和‘x’，它们属于不同的两类。那么SVM的目的就是想要画出一条线，以“最好

文章目录1.什么是逻辑回归2. 逻辑回归的判定边界3.代价函数4.Python3实现逻辑回归5.总结1.什么是逻辑回归logistic回归又称logistic回归分析，是一种广义的线性回归分析模型。常用于数据挖掘，疾病自动诊断，经济预测等领域。值得一提的是该算法输出值永远在 0 到 1 之间。下面通过一个例子来了解下什么是逻辑回归。假设现在我们有一个应用场景，根据肿瘤的大小来判断肿瘤是恶性的还是良性的。我们从先从二元分类的问题开始讨论。将因变量（dependent variable）可能属于的两个

1. 什么是决策树决策树（decision tree）是一种基本的分类与回归方法。决策树的生成算法主要有ID3，C4.5，CART等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。这里通过一个简单的例子说明决策树的构成思路：给出如下的一组数据，一共有十五个样本，每个样本有年龄，有工作，有自己的房子，信贷情况四个属性，最后判断是否给申请人批准贷款。然后利用这一组附带分类结果的样本可以训练出多种多样的决策树，这里为了简化过程

1. 什么是朴素贝叶斯法朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。先举个例子来了解贝叶斯原理一个袋子里有10个球，其中6个黑球，4个白球；那么随机抓取一个黑球的概率是0.6这种情况下我们是站在上帝的视角，即知道事情的全貌再做判断（有多少个黑球，白球）在

1. 什么是感知机？​ 感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误差的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简答而易于实现的优点，分为原始形式和对偶形式，下文会一一给出。感知机预测是通过对训练数据的学习对新输入的实例进行分类。定义1.1（

1.什么是KNN算法？KNN(K-Nearest Neighbor)算法是机器学习算法中最基础，最简单的算法之一。它既能用于分类，也能用于回归。KNN通过测量不同特征值的距离来进行分类。k近邻算法简单，直观：对于一个需要预测的输入向量x，我们只需要在训练数据集中寻找k个与向量x最近的向量的集合，然后把x的类别预测为这k个样本中类别数最多的那一类。1.1基于上述思想给出KNN算法过程输入：训练数据集其中：输出：实例x所属的类y.(1)根据给定的距离度量，在训练集T中找出与x最临近的k个点，.