- 博客(58)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 卷积神经网络发展
LeNetAlexNetZFNetVGGNetResNetDenseNetGoogLeNetInceptionv3和Inception-ResNetResNeXtXceptionSENetscSECBAMSqueezeNetMobileNetShuffleNetGhostNetNASNetEfficientNet
2020-09-14 19:32:05
619
原创 新闻文本分类-Task5
Task05：基于深度学习的文本分类本章主要探索两个深度学习模型在文本分类上面的原理和应用。一个是CNN模型的应用TextCNN，另一个是RNN模型的应用TextRNN。TextCNNtextCNN模型的原理图如下每个词通过向量来表示，模型的上游可以通过word2vec等方法学习得到每个单词的词向量表示，在进行卷积操作，此时的卷积和以往的图片卷积不同，是通过n*d，d表示词向量的维度，卷积的列如果小于d，会导致卷积提取的是词内部部分信息，这样没有意义。所以通过n*d的卷积核来进行的，可以使得wor
2020-08-04 21:50:43
307
原创 新闻文本分类-Task3
Task03：基于机器学习的文本分类本次主要基于传统的机器学习方法来进行文本分类。主要的思想是通过TFIDF来进行，TDIDF介绍的很多了，本文就不再介绍了，想了解相关原理的可以看下这篇博客https://blog.youkuaiyun.com/hongyesuifeng/article/details/90256387基本思想是通过TFIDF来思想来对句子的特征进行表示的。首先通过计算每个词的TFIDF值，因为这里未做基本的数据处理，可能会把停用词和标点符号也算进去，主要是跑通全流程。SVM和KNN等模型方法速
2020-07-22 15:04:41
265
原创 新闻文本分类-Task2
Task2 数据读取与分析文件基本探索1.train_set.csv为训练数据，总计20W条，测试集test_a.csv，总计5W条。ll *.csvwc -l *.csv2. 训练集合一共有14个类别，用0-13来表示具体类别。awk -F'\t' '{print $1}' train_set.csv|sort -u3.类别从0-13的量级依次递减，最多的类别比最低类别约42倍，是明显的多类别不平衡问题，但是相对类别不平衡问题还不算特别严重。但是需要关注少数类的分类精度和召回，比如
2020-07-21 16:51:30
276
原创 新闻文本分类-Task1
Task01：赛题理解一、赛题数据赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。赛题数据由以下几个部分构成：训练集20w条样本，测试集A包括5w条样本，测试集B包括5w条样本。为了预防选手人工标注测试集的情况，我们将比赛数据的文本按照字符级别进行了匿名处理。处理后的赛题训练数据如下：label text6 57 44 66
2020-07-20 20:35:28
262
原创 动手学深度学习PyTorch版-微调
微调热狗识别%matplotlib inlineimport torchfrom torch import nn, optimfrom torch.utils.data import Dataset, DataLoaderimport torchvisionfrom torchvision.datasets import ImageFolderfrom torchvision im...
2020-02-24 23:09:04
382
原创 动手学深度学习PyTorch版-数据增强
数据增强图像增广import osos.listdir("/home/kesci/input/img2083/")%matplotlib inlineimport osimport timeimport torchfrom torch import nn, optimfrom torch.utils.data import Dataset, DataLoaderimport ...
2020-02-24 23:00:30
320
原创 动手学深度学习PyTorch版-文本情感分类
文本情感分类读取数据import collectionsimport osimport randomimport timefrom tqdm import tqdmimport torchfrom torch import nnimport torchtext.vocab as Vocabimport torch.utils.data as Dataimport torch....
2020-02-24 22:40:36
1369
2
原创 动手学深度学习PyTorch版-词嵌入进阶
词嵌入进阶载入与训练Glove向量import torchimport torchtext.vocab as vocabprint([key for key in vocab.pretrained_aliases.keys() if "glove" in key])cache_dir = "/home/kesci/input/GloVe6B5429"glove = vocab.Glo...
2020-02-24 22:35:50
288
原创 动手学深度学习PyTorch版-word2vec
word2vecPTB数据集import collectionsimport mathimport randomimport sysimport timeimport osimport numpy as npimport torchfrom torch import nnimport torch.utils.data as Datawith open('/home/kes...
2020-02-24 22:34:00
299
原创 动手学深度学习PyTorch版-优化算法进阶
优化算法进阶Momentum在这里插入代码片def momentum_2d(x1, x2, v1, v2): v1 = beta * v1 + eta * 0.2 * x1 v2 = beta * v2 + eta * 4 * x2 return x1 - v1, x2 - v2, v1, v2eta, beta = 0.4, 0.5d2l.show_trace_...
2020-02-24 22:30:02
316
原创 动手学深度学习PyTorch版-梯度下降
梯度下降%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, optimimport mathimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2l一维梯度下降def f(x): ...
2020-02-24 22:17:33
279
原创 动手学深度学习PyTorch版-凸优化
凸优化优化与深度学习%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfrom mpl_toolkits import mplot3d # 三维画图import numpy as npdef f(x): return x * np.cos(np.pi * x...
2020-02-24 22:11:26
285
原创 动手学深度学习PyTorch版-批量归一化和残差网络
批量归一化和残差网络从零实现import timeimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport torchvisionimport syssys.path.append("/home/kesci/input/") import d2lzh1981 as d2ldevice...
2020-02-24 22:06:38
189
原创 动手学深度学习PyTorch版-卷积神经网络进阶（AlexNet）
卷积神经网络进阶（AlexNet）#目前GPU算力资源预计17日上线，在此之前本代码只能使用CPU运行。#考虑到本代码中的模型过大，CPU训练较慢，#我们还将代码上传了一份到 https://www.kaggle.com/boyuai/boyu-d2l-modernconvolutionalnetwork#如希望提前使用gpu运行请至kaggle。import timeimpor...
2020-02-17 23:58:51
795
原创 动手学深度学习PyTorch版-LeNet
LeNetLeNet模型#importimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2limport torchimport torch.nn as nnimport torch.optim as optimimport time#netclass Flatten(torch.nn.M...
2020-02-17 23:53:07
224
原创 动手学深度学习PyTorch版-卷积神经网络基础
卷积神经网络基础import torch import torch.nn as nndef corr2d(X, K): H, W = X.shape h, w = K.shape Y = torch.zeros(H - h + 1, W - w + 1) for i in range(Y.shape[0]): for j in range(Y...
2020-02-17 23:49:31
198
原创 动手学深度学习PyTorch版-Transformer
Transformerimport osimport mathimport numpy as npimport torch import torch.nn as nnimport torch.nn.functional as Fimport syssys.path.append('/home/kesci/input/d2len9900')import d2ldef Sequ...
2020-02-17 23:46:12
194
原创 动手学深度学习PyTorch版-注意力机制与Seq2seq模型
注意力机制与Seq2seq模型import mathimport torch import torch.nn as nnimport osdef file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir):# print("root", root) # 当前目录路径 ...
2020-02-17 23:38:20
424
原创 动手学深度学习PyTorch版-机器翻译及相关技术
机器翻译及相关技术import osos.listdir('/home/kesci/input/')import syssys.path.append('/home/kesci/input/d2l9528/')import collectionsimport d2limport zipfilefrom d2l.data.base import Vocabimport time...
2020-02-17 23:31:43
293
原创 动手学深度学习PyTorch版-循环神经网络进阶
循环神经网络进阶GRU数据载入import osos.listdir('/home/kesci/input')import numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.path.append("../input/")import...
2020-02-17 23:20:01
226
1
原创 动手学深度学习PyTorch版-梯度消失、梯度爆炸、kaggle房价预测
梯度消失、梯度爆炸、kaggle房价预测kaggle房价预测%matplotlib inlineimport torchimport torch.nn as nnimport numpy as npimport pandas as pdimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lpri...
2020-02-17 23:12:34
245
原创 动手学深度学习PyTorch版-过拟合欠拟合及其解决方案
过拟合、欠拟合及其解决方案多项式拟合实验%matplotlib inlineimport torchimport numpy as npimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lprint(torch.__version__)初始化模型参数n_train, n_test, true...
2020-02-17 23:05:43
551
原创 动手学深度学习PyTorch版-循环神经网络基础
循环神经网络基础从零开始实现循环神经网络import torchimport torch.nn as nnimport timeimport mathimport syssys.path.append("/home/kesci/input")import d2l_jay9460 as d2l(corpus_indices, char_to_idx, idx_to_char, vo...
2020-02-14 14:38:51
320
1
原创 动手学深度学习PyTorch版-语言模型
语言模型语言模型数据集with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f: corpus_chars = f.read()print(len(corpus_chars))print(corpus_chars[: 40])corpus_chars = corpus_chars.repla...
2020-02-14 14:28:25
177
原创 动手学深度学习PyTorch版-文本预处理
文本预处理读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().low...
2020-02-14 14:24:59
208
原创 动手学深度学习PyTorch版-多层感知机
多层感知机从零实现多层感知机%matplotlib inlineimport torchimport numpy as npimport matplotlib.pyplot as pltimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lprint(torch.__version__)Rel...
2020-02-13 23:05:05
322
1
原创 动手学深度学习PyTorch版-softmax和分类模型
softmax和分类模型softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型获取Fashion-MNIST训练集和读取数据# import needed package%matplotlib inlinefrom IPython import displayimport matplotlib.pyplot as pltimpor...
2020-02-13 22:25:58
259
原创 动手学深度学习PyTorch版-线性回归
线性回归从零开始实现线性回归import torchimport time# init variable a, b as 1000 dimension vectorn = 1000a = torch.ones(n)b = torch.ones(n)# define a timer class to record timeclass Timer(object): """R...
2020-02-13 21:15:21
296
原创 C++语言程序设计进阶（学堂在线）习题
C7-1 账户类 (100 满分)题目描述定义一个基类Account，数据成员包含string类变量userName用于保存账户主人姓名，函数成员包括默认构造函数、带参构造函数用于初始化数据成员和输出姓名的成员函PrintName()。从Account类派生出CreditAccount类，增加整型数据成员credit用于记录该用户信用额度，函数成员包括带参构造函数用于初始化数据成员和输出账户...
2019-06-16 23:24:10
2615
原创 NLP TASK10 bert
学习任务Transformer的原理BERT的原理利用预训练的BERT模型将句子转换为句向量，进行文本分类1学习笔记Transformer原理Transformer原理：Attention Is All You Need：https://arxiv.org/abs/1706.03762Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型。Tran...
2019-05-30 20:36:22
554
原创 NLP TASK9 Attention原理
任务基本的Attention原理。HAN的原理（Hierarchical Attention Networks）。利用Attention模型进行文本分类。学习笔记Attention原理Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attentio...
2019-05-26 23:38:53
267
原创 NLP TASK8 循环和递归神经网络
学习任务RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题（梯度问题、长期依赖问题）、BPTT算法。双向RNN递归神经网络LSTM、GRU的结构、提出背景、优缺点。针对梯度消失（LSTM等其他门控RNN）、梯度爆炸（梯度截断）的解决方案。Memory Network（自选）Text-RNN的原理。利用Text-RNN模型来进行文本分类。Rec...
2019-05-26 13:17:45
473
原创 NLP TASK7 卷积神经网络
学习内容卷积运算的定义、动机（稀疏权重、参数共享、等变表示）。一维卷积运算和二维卷积运算。池化运算的定义、种类（最大池化、平均池化等）、动机。Text-CNN的原理。利用Text-CNN模型来进行文本分类。 参考答案内容笔记卷积卷积定义：卷积是一类数学运算，通常计算方式为：s(t)=(x∗w)(t)=∑a=−∞∞x(a)w(t−a)s(t)=(x*w)(t)=\sum_{a=-\...
2019-05-26 00:58:43
262
原创 NLP TASK6 神经网络基础
学习内容前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。感知机相关；定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化）深度学习中的正则化（参数范数惩罚：L1正则化、L2正则化；数据集增强；噪声添加；early stop；Dropout层）、正则化的介...
2019-05-22 14:44:48
1006
1
原创 NLP Task5
学习内容朴素贝叶斯朴素贝叶斯的原理利用朴素贝叶斯模型进行文本分类SVM模型SVM的原理利用SVM模型进行文本分类LDA主题模型pLSA、共轭先验分布LDA使用LDA生成主题特征，在之前特征的基础上加入主题特征进行文本分类LDA数学八卦...
2019-05-20 21:03:22
238
原创 C++语言程序设计基础（学堂在线）习题
C2-1简单题目 (100/100 分数)题目描述任意给定 n 个整数，求这 n 个整数序列的和、最小值、最大值输入描述输入一个整数n，代表接下来输入整数个数，0 < n <= 100，接着输入n个整数，整数用int表示即可。输出描述输出整数序列的和、最小值、最大值。用空格隔开，占一行样例输入21 2样例输出3 1 2#include<stdio.h&g...
2019-05-19 16:55:47
1974
原创 NLP TASK4 文本表示：从one-hot到word2vec
任务描述词袋模型：离散、高维、稀疏。分布式表示：连续、低维、稠密word2vec词向量原理并实践，用来表示文本。word2vec原理词向量向量空间模型(VSM)是一类被提出表示文本信息的方法，该模型的思想是通过一种向量化的方式对文本数据进行表示，根据该向量空间模型的思想，词向量的概念开始引入。第一种使用词向量对文本数据进行表示的方法被称为独热编码(One-hot)表示方法，该方法对文本...
2019-05-17 16:03:46
503
原创 NLP TASK3 特征选择
任务描述：TF-IDF原理以及利用其进行特征筛选互信息的原理以及利用其进行特征筛选TFIDF原理简介TFIDF一类用于计算单词在文章中重要程度的方法，分为两个部分，一部分是TF表示词频（通常会进行归一化，防止文章长度影响），另一部分IDF逆文档频率，用于降低不同文档中经常出现单词的权重。计算公式TF=某个单词在文章出现的次数文章的总词汇TF=\frac{某个单词在文章出现的次数}{文章...
2019-05-16 10:42:00
186
阿里技术参考图册（研发）
2018-12-02
阿里技术参考图册（算法篇）
2018-12-02
阿里双十一技术
2018-12-02
中国互联网地下产业白皮书
2018-12-02
书上说下面的式子只需要单遍扫面，上面的式子需要对数据多变扫描是什么意思呀？
2016-11-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人