不忘初心，方得始终

目录一、题目描述1.1 背景描述1.2 数据集1.3 评测指标二、解题思路2.1 ML/DL的前提假设2.2 主要思路2.3 进一步的改进三、动手实践一、题目描述1.1 背景描述本次推荐评论展示任务的目标是从真实的用户评论中，挖掘合适作为推荐理由的短句。点评软件展示的推荐理由具有长度限制，而真实用户评论语言通顺、信息完整。综合来说，两者都具有用...

一 文本分类文本分类是nlp中的简单任务，已经能够取得很好的结果了。情感分类是文本分类任务中的典型问题，经典数据集是IMDb。自从有了bert，微调预训练的bert几乎可以秒杀一众模型~不过在这里，主要介绍两个模型，一个是基于rnn的，一个是基于cnn的。1.1 BiLSTM1.2 TextCNN二 数据增强这部分主要介绍一个计算机视觉中的常用技术，叫做图像增广(i...

问答学习，自问自答~一优化算法进阶 什么是ill-condition？如何判断出现了ill-condition?有什么危害？ 学习率决定了优化的快慢 如何应对ill-condition？ 什么是Momentum方法(SGD Momentum)，其数学原理是什么？(hint:指数加权移动平均) 有哪些自适应学习率方法？ AdaGrad:大的梯度处，小的学...

一批量归一化和残差网络 BatchNormalization(批归一化) ResNet(残差网络) DenseNet(稠密连接网络) 二凸优化三梯度下降

本文主要讲卷积神经网络，卷积神经网络的优点是什么呢？可以并行 与全连接网络相比，能更好的捕捉局部的空间信息，随着层数的增加，在输入上的感受野会增大 与全连接网络相比，参数量更少。一 卷积神经网络基础本节以二维卷积为例，二维卷积常用于处理图像数据。互相关运算与卷积运算 二 leNet卷积神经网络就是含卷积层的网络。 LeNet交替使用卷积层和最大池化层后接全连接层来进行图...

一 机器翻译及相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词，且输出序列的长度可能与源序列的长度不同；输入序列长度可变，输出序列长度可变。我们来分析一下这些特征，输入序列长度可变：不能直接使用多层感知机，因为它只能处理固定维度的输入(imput)输入序列和输出...

一过拟合、欠拟合及其解决方案1.1 欠拟合与过拟合1.2 过拟合解决方案1.3 欠拟合解决方案二 梯度消失、梯度爆炸2.1 梯度消失2.2 梯度爆炸三 循环神经网络进阶3.1 循环神经网络的主要结构3.2 问答时间1 LSTM是如何缓解普通RNN中的梯度消失和梯度爆炸问题的？...

这部分内容是文本生成技术的基础，也是我的科研内容。嘻嘻嘻=-=在线性回归 & Softmax与分类模型 & 多层感知机中提到，建模的pipeline包括8个步骤，从大方向来看，可以归为2类，第1步（准备数据集）归为一类，called“数据准备”；2-8步归为一类，called“模型”。对于“数据准备”，也许有的结构化数据可以省略这一步，但像文本这样的非结构化数据却是一定要有这一...

大学的时候，统计学专业，线性回归这个内容足足有一本书，包含了很多内容。《动手学深度学习》这本书，书如其名，侧重于实践。1 线性回归统计学习方法=模型+策略+算法，下面就从这三部分对线性回归进行描述。待更新2 动手实践实现一个模型的pipeline包括以下几个部分：1 准备数据集2 数据读取3 定义模型4 定义损失函数5 定义优化器/优化函数6 参数...