王小二的博客

【代码】【文本分类】bert二分类。

机器学习/深度学习/NLP-3-LR、SVM、GBDT、RandomForest、xgboost、boostingLRSVMGBDTRandomForestxgboostboostingLRSVMGBDTRandomForestxgboostboosting

机器学习/深度学习/NLP-7-准确率acc、精确率P、召回率R、F1、交叉熵TP/FN/FP/TN准确率acc精确率P召回率RF1实例交叉熵TP/FN/FP/TNTP: Ture Positive 把正的判断为正的数目。FN: False Negative 把正的错判为负的数目。FP: False Positive 把负的错判为正的数目。TN: True Negative 把负的判为负的数目。准确率acc准确率(Accuracy)是指在所有的判断中有多少判断正确的，即把正的判断为正的，把

机器学习/深度学习/NLP-6-bertbert子任务Masked LMNext Sentence Prediction整体思想bert子任务bert作预训练的时候，有两个子任务：Masked LM和Next Sentence Prediction。前者是随机遮住句子中的一部分词，根据剩余词汇预测这些词是什么；后者是给定两个句子，预测这两个句子是不是上下句。相当于从两个角度来让模型输出的词、句向量表示能够全面准确地刻画文本。为下游任务提供一个良好的向量参数初始值。Masked LMNext Se

机器学习/深度学习/NLP-5-RNN、LSTM、GRURNNLSTM遗忘门输入门及细胞状态更新输出门GRU参考RNNRNN（Recurrent Neural Network）即通常所说的循环神经网络。其特点是在多层神经网络的训练中，当前时刻的输出是由当前时刻的输入以及之前时刻的状态共同决定的。它能够有效学习到上下文的序列信息。RNN是由多个单元组成的，每个单元的形式和操作都是一样的，整体图结构如下：以这个图为例，可展开如下公式：其中， V 是输出层权重矩阵，g 是激活函数（常用softma

机器学习/深度学习/NLP-3-MLP(多层感知机）MLP定义输入层到隐藏层隐藏层到输出层MLP整体公式参考MLP定义多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），由输入层、隐藏层和输出层组成，其中隐藏层可以设置一层或多层，如下图：在MLP中，各层间是全连接的。由输入层伊始，经由隐藏层到输出层，完成对输入的向量转化。输入层到隐藏层在输入层到隐藏层的过程中，前一层的输出会作为当前层的输入，计算规则常为

机器学习/深度学习/NLP-3-epoch、batch、iterationsepochbatchiterations举例说明网上对epoch、batch、iterations的解析都太过繁琐。这里按我个人的理解整理出关键的几个点。epoch定义：数据集完整通过神经网络一次并且返回了一次，称为一次epoch。用法：一般采用多个epoch训练模型，这样可以在训练中多次调整更新权重参数，提高模型的适用性。具体设置多少个epoch随缘，常规是数据集越大就设置越大的epoch。随着epoch数量增加，模

机器学习系统学习-1-Regression-李宏毅公开课什么是Regression三级目录本系列文章主要梳理李宏毅机器学习公开课的个人学习过程，整理成自己的理解。尽量不加入自己的先验知识，从初学者的角度逐步学习。什么是RegressionRegression就是针对某一个任务训练一个模型，让该模型能够尽可能的符合测试数据。这里举李老师宝可梦进化的例子。三级目录...

机器学习（自然语言处理）-2-梯度消失和梯度爆炸反向传播梯度下降梯度消失梯度爆炸解决梯度消失和梯度爆炸的常用方法参考文献反向传播在看梯度消失和梯度爆炸之前，首先应了解反向传播的思想。因为梯度消失和梯度爆炸问题都是因为网络太深，网络权值更新不稳定造成的，本质上是因为梯度反向传播中的连乘效应。目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。反向传播算法（Backpropagation）的主要思想是：将训练集数据输入到神经网络的

机器学习-1-常用激活函数sign和sigmoidsignsigmoidsoftmaxtanhRelu参考文献sign和sigmoidsignsign(x)或者Sign(x)叫做符号函数，在数学和计算机运算中，其功能是取某个数的符号（正或负）：图解：sigmoidsigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。优点：平滑、易于求导。缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反