weixin_37461330的博客

Bert具体包括pretrain和finetune两部分Transformer原理Transformer是在"Attention is All You Need"中提出的，模型的编码部分是一组编码器的堆叠（论文中依次堆叠六个编码器），模型的解码部分是由相同数量的解码器的堆叠。在编码部分，他们结构完全相同，但是并不共享参数，每一个编码器都可以拆解成两部分。在对输入序列做词的向量化之后，它们首先流过一个self-attention层，该层帮助编码器在它编码单词的时候能够看到输入序列中的其他单词。self

1.Word2Vec：2.TextCNN：利用CNN（卷积神经网络）进行文本特征抽取，不同大小的卷积核分别抽取n-gram特征，卷积计算出的特征图经过MaxPooling保留最大的特征值，然后将拼接成一个向量作为文本的表示。这里我们基于TextCNN原始论文的设定，分别采用了100个大小为2,3,4的卷积核，最后得到的文本向量大小为100*3=300维。3.T.

FastText是一种典型DL词向量的表示方法，它通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作；它是一个三层神经网络：输入层、隐含层、输出层；它用单词的Embedding叠加获得的文档向量，将相似的句子分为一类；它学到的Embedding空间维度比较低，可以快速进行训练；如何使用验证集调参1.通过阅读文档，要弄清楚这些参数的大致含义，哪些参数会增加模型的复杂度2.通过验证集上进行验证模型精度，找到模型在是..

方法一、方法二、文本表示方法有：one-hot，Bag of Words，N-gram，TF-IDF，FastText，word2Vec，TextCNN，BERT......

旨在对测试数据的数据做分析，分析数据的label比例，以及标点符号的占比

零基础入门NLP之新闻文本分类赛题理解赛题名称：零基础入门NLP之新闻文本分类 赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。 赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。赛题数据赛题以匿名处理后的新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚.

一、文本情感分类文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判断一段不定长的文本序列中包含的是正面还是负面的情绪...

一、优化进阶目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收...

一、批量归一化(BatchNormalization)1. 对输入的标准化（浅层模型）：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近。2. 批量归一化（深度模型）：利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使...

一、机器翻译机器翻译采用的是seq2seq的模型机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。数据预处理 --->分词 --->建立词典 ---> 载入数据集 --->Encoder-Decod...

一、卷积神经网络卷积层：卷积层得名于卷积运算，但卷积层中用到的并非卷积运算而是互相关运算。我们将核数组 (通常称为卷积核或过滤器（filter）)上下翻转、左右翻转，再与输入数组做互相关运算，这一过程就是卷积运算。由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。卷积层的两个超参数：填充：在输入高和宽的两侧填充元素（通常是0元素） ...

一、过拟合和欠拟合训练误差：指模型在训练数据集上表现出的误差。泛化误差：指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。(ML应关注此项)如何计算训练误差或者泛化误差，可以用损失函数。【损失函数：均方误差(线性回归)、交叉熵损失函数(softmax回归)】验证集的作用：进行模型选择。K折交叉验证：由于验证数据集不参与模型训练，当训练数据不够...

文本预处理：下列哪一项不是构建Vocab类所必须的步骤：BA. 词频统计，清洗低频词B. 句子长度统计C. 构建索引到token的映射D. 构建token到索引的映射无论use_special_token参数是否为真，都会使用的特殊token是____，作用是用来____ : DA. <pad>，在小批量中数据不等长时做填...

一、线性回归：线性回归的基本要素：模型、数据集、损失函数、优化函数(梯度下降法)。模型：y = w*area+ w*age+ b； (wx +b)损失函数：在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为ii的样本误差的表达式为 ...