weixin_43910910的博客

项目实训（一）项目背景主体研究一致性判断噪音样本分析样本增强方法可视化证据相关调研项目背景本项目主要针对短文本语义一致性判定。在现实生活中，伴随着文本信息的爆炸式增长，从短文本中快速提取关键信息以及对短文本语义的分析显得尤为重要。在当下线上线下教育结合以及网络文本信息审批数据量越来越大，给单纯依靠人工进行文本阅读的工作带来了很大的负担。尤其在网上阅卷、和中小学生网上作业批阅的情况下，用机器代替教师进行作业、题目的评阅有很大的需求。本项目通过机器学习的方法，对短文本的语义进行分析和提炼，将标准答案和考生目

项目实训（七）本篇主要分析项目中所涉及的句向量生成以及互注意力机制。目录项目实训（七）句向量生成句向量生成

项目实训（三）之前的思路是通过输入B和R生成一系列问题q，对q进行筛选得出q集合作为评分标准；但这需要在第一步完成问题生成，任务量会变大。因此我转换思路，在第一步生成向量集合代替问题q集合。具体描述如下：1.对B和R进行预处理，去除噪音等；2.使用模型（例如bert）对处理过的B和R进行向量生成；在这一步有些细节我没有考虑清楚：1.是仅仅对B和R的分词结果简单的生成词向量吗？2.整个句子应该如何表示？是直接将词向量相加吗？如何将语义引入向量的表示？3.关键词的权重如何考虑？生成词向量所用的分词

项目实训（十五）本文记录在项目中使用过的各类模型效果目录项目实训（十五）berternietextcnntextrnn决策树逻辑回归berternietextcnntextrnn决策树逻辑回归

项目实训（四）根据队伍前面确立下的思路，最近一周我们通过代码实现，并取得了相关结果。目录项目实训（四）思路思路图示符号说明具体实现数据预处理生成X,A生成αA_X生成AX生成VkNN实现及评分细节（略）输出效果展示思路思路图示符号说明Xt，At分别对应处理过的考生答案文本和标准答案文本；X,A分别对应bert生成的句向量组成的矩阵；αA_X对应X与A生成的互注意力向量；AX是A与αA_X生成的考生答案的标准答案表示矩阵；Vk是AX经过flatten处理；S是Vk经过全连接神经网络NN

项目实训（十一）本文记录在项目中的逻辑回归使用目录项目实训（十一）逻辑回归梯度上升一般过程应用参考逻辑回归Logistic回归是众多分类算法中的一员。通常，Logistic回归用于二分类问题，例如预测明天是否会下雨。当然它也可以用于多分类问题。假设现在有一些数据点，我们利用一条直线对这些点进行拟合(该线称为最佳拟合直线)，这个拟合过程就称作为回归，如下图所示：Logistic回归是分类方法，它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是：根据现有数

项目实训（十四）本文记录在项目中的textrnn目录项目实训（十四）概述结构代码参考概述textRNN指的是利用RNN循环神经网络解决文本分类问题，文本分类是自然语言处理的一个基本任务，试图推断出给定文本(句子、文档等)的标签或标签集合。在一些自然语言处理任务中，当对序列进行处理时，我们一般会采用循环神经网络RNN，尤其是它的一些变种，如LSTM(更常用)，GRU。当然我们也可以把RNN运用到文本分类任务中。这里的文本可以一个句子，文档(短文本，若干句子)或篇章(长文本)，因此每段文本的长度都不

项目实训（五）本篇文章接上一篇，对项目中所使用的神经网络进行分析。目录项目实训（五）NN的实现基本结构训练结果展示参考NN的实现基本结构项目中所使用的神经网络为手写实现，未使用Torch，TensorFlow等第三方库。项目中使用的NN是包含一个隐藏层的全连接网络。 def __init__(self, input_size, hidden_size, output_size, file_name): I, H, O = input_size, hidden_size,

项目实训（六）本篇主要分析项目中所涉及的句向量生成以及互注意力机制。目录项目实训（六）句向量生成句向量生成我们使用的句向量生成主要包括两种方法，一种是基于词向量，通过加权平均得到句向量，另一种是使用bert模型生成句向量。使用第一种方法会带来一个很大的问题，那就是生成的句向量会损失句子的语义，这对后面我们评分会造成明显的影响。但使用bert可以较好地规避这个问题。bert模型的网络结构是Transformer结构...

项目实训（十二）本文记录在项目中的决策树使用目录项目实训（十二）分类器adboost实现参考分类器我们有一种新思路，通过创建许多弱分类器，并通过集成的方法，得到良好的分类效果，实现最终目的。集成方法（ensemble method）通过组合多个学习器来完成学习任务，颇有点“三个臭皮匠顶个诸葛亮”的意味。基分类器一般采用的是弱可学习（weakly learnable）分类器，通过集成方法，组合成一个强可学习（strongly learnable）分类器。所谓弱可学习，是指学习的正确率仅略优于随机猜测

项目实训（十）本文讲一下ernie的个人理解目录项目实训（十）改进1代码实现改进1我使用的ernie是基于bert进行了改动，使其更加符合中文语境。简单讲就是在划分输入的粒度级别上进行了修改。bert是在字符级别进行编码，而应用到中文这种划分可能就不是太合适。ernie在划分上进行了改进，采用中文的词作为最小划分粒度进行处理。代码实现...

项目实训（十三）本文记录在项目中的textcnn目录项目实训（十三）引言结构步骤代码实现参考引言对于文本分类问题，常见的方法无非就是抽取文本的特征，比如使用doc2evc或者LDA模型将文本转换成一个固定维度的特征向量，然后在基于抽取的特征训练一个分类器。 然而研究证明，TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解，TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强，在短文本领域如搜索、对话领域专注于意图分类时效果很好，应用广泛

项目实训（八）本文记录在项目中的bert实现目录项目实训（八）配置参数网络结构数据集准备初始化网络参考配置参数需要使用预训练模型，提前下载 def __init__(self, dataset): self.model_name = 'bert' self.train_path = dataset + '/data/ans_train.txt' # 训练集 self.dev_path

项目实训（二）目录项目实训（二）输入具体步骤一．生成q及评价函数φ（{q},x），x∈R/P/N二.q的筛选：三.评价函数φ：四.评分：本周确定下项目具体思路，在此记录输入问题背景B，参考答案R，标记的学生答案分为正确P与错误N具体步骤一．生成q及评价函数φ（{q},x），x∈R/P/N1.q的生成：选择问题生成模型，输入B,R生成问题q的集合二.q的筛选：①第一次筛选：φ（q,R）与φ（q,P）一致。这里会存在一些q=>满足φ（q,R）与φ（q,N）一致②在①中筛选出的q的

项目实训（八）本文讲一下个人对transformer的理解目录项目实训（八）结构字向量与位置编码自注意力机制残差连接与layer normalizationfeedforward参考结构像大多数seq2seq模型一样，transformer模型是由encoder-decoder构成。字向量与位置编码由上面的结构可知，输入inputs需要经过input embedding进行编码。这一层的编码主要由两部分组成，字符编码和位置编码。所谓字符编码，就是将语句划分之后的字符通过预训练的向量进行匹配