- 博客(20)
- 收藏
- 关注
RSS订阅原创 BART model
BART Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension论文阅读
2022-11-28 15:14:24
830
原创 Dependency Parsing as MRC-based Span-Span Prediction
Dependency Parsing as MRC-based Span-Span Prediction论文阅读
2022-11-28 15:06:54
252
原创 Data Augment Approavhes in Natural Language Processing
Data Augment Approavhes in Natural Language Processing论文阅读
2022-11-28 15:05:31
167
原创 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Transformer-XL论文阅读笔记
2022-11-28 14:52:10
207
原创 mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer
mT5论文阅读笔记
2022-11-28 14:51:02
762
原创 深度学习笔记之正则化、激活函数、卷积
文章目录一. 正则化(Regularization)1. L1L_1L1、L2L_2L2正则化2. Dropout3. 数据增强4. 提前停止5. 批标准化参考一. 正则化(Regularization)正则化是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法。1. L1L_1L1、L2L_2L2正则化在没有添加正则化项前，我们的损失函数是：J(θ;x,y)J(\theta;x,y)J(θ;x,y)。而添加正则化后，相当于对损失函数引入了惩罚（约束条件），损失函数变为：J^(θ;
2022-03-24 21:40:34
2719
原创 深度学习笔记之attention机制、Normalization
文章目录一. Attentionself-attention二. Normalization批标准化(batch normalization)**1. 批标准化的数学计算****2. 批标准化的优点****3. 为什么标准化有效****4. 使用批标准化的注意**layer normalization**1.层标准化的数学计算****2.层标准化与批标准化**参考一. Attention在文本情感分析中，我们对I hate this movie进行分析，如果采用RNN或者CNN，模型的学习机制导致无法关
2022-03-23 23:03:02
1408
2
原创 深度学习笔记之优化算法
文章目录一. 优化算法1.1 基本算法1.1.1 随机梯度下降1.1.2 动量1.1.3 Nesterov动量1.2 自适应学习率算法1.2.1 AdaGrad1.2.2 RMSProp1.2.3 Adam1.3 牛顿法一. 优化算法1.1 基本算法1.1.1 随机梯度下降1.1.2 动量1.1.3 Nesterov动量1.2 自适应学习率算法1.2.1 AdaGrad1.2.2 RMSProp1.2.3 Adam1.3 牛顿法...
2022-03-18 19:09:56
2454
原创 实战NLP beginner任务二：基于深度学习的文本分类
文章目录一. 理论知识1.1 词嵌入1.2 Dropout二. 代码实现一. 理论知识1.1 词嵌入1.2 Dropout二. 代码实现
2022-03-17 21:19:21
2099
原创 实战NLP beginner任务一:基于机器学习的文本分类
文章目录一.理论知识1.1 Ngram1.1.1 什么是Ngram1.1.2 为什么使用Ngram1.1.3 N-gram的应用1.1.4 N-gram存在的问题及解决方法1.2 bag of words(BOWs)1.2.1 什么是BOWs1.2.2 怎么使用BOWs1.3 logistic/softmax 回归1.3.1 什么是逻辑回归1.3.2 逻辑回归模型numpy实现Ngram实现logistic回归的numpy实现softmax回归的numpy实现一.理论知识1.1 Ngram1.1.1
2022-03-10 21:48:03
2906
1
原创 神经网络的前向传播与反向传播及用numpy搭建神经网络
文章目录前言一.全连接神经网络1.1从单个感知机到神经网络1.2DNN的基本结构1.3前向传播算法1.4梯度下降算法1.5反向传播算法1.6激活函数二.卷积神经网络2.1卷积神经网络的基本结构2.2卷积神经网络的前向传播2.3卷积神经网络的反向传播三.用numpy搭建神经网络前言近期学习了神经网络前向传播和反向传播的数学原理，希望通过写下这篇文章进一步巩固自己对近期学习知识的理解，以及帮助同样有相同需求的人。若有错误，望指出。一.全连接神经网络1.1从单个感知机到神经网络感知机是神经网络的基本组成
2020-07-14 13:07:34
1557
3
原创 Tensorflow2.0实战练习之猫狗数据集(包含自定义训练和迁移学习)
最近在学习使用Tenforflow2.0，写下这篇文章，用来帮助和我一样的初学者，文章中如果存在某些问题，还希望各位指出。目录数据集介绍数据处理及增强VGG模型介绍模型搭建训练及结果展示自定义训练迁移学习一.数据集介绍猫狗数据集是kaggle平台上比较著名的数据集，如果需要猫狗数据集，可以去kaggle上下载，也可以找我要，该数据集分为train和test两部分。在本次训练...
2020-02-24 20:32:24
6694
7
原创 用TensorFlow搭建卷积神经网络处理CIFAR10数据集
本人是神经网络的小白，第一次学习搭建神经网络，写下这篇文章目的是帮助自己更加理解TensorFlow。以及分享一些代码给需要的人。一. 卷积神经网络简介1.卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算...
2019-05-24 20:11:02
1152
3
原创 用KNN（K近邻算法）完成手写数字识别python实践
用KNN（K近邻算法）完成手写数字识别这是我第一次写博客，也是刚学的KNN，写``的目的就是为了增强我对该算法的理解。有问题请大家给我指出，谢谢啦。一.算法部分1.客观理解：最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多...
2019-03-24 19:57:52
2578
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人