huangqihao723的博客

主要是建立了CNN 和 GAN 之间的联系，从没有标签的数据中抽取有用的特征很重要，可以作为下游分类任务的输入。GAN在提取图片表征方面有很好的效果，但是训练不稳定，经常生成无意义的图片。 这篇文章主要有如下几点贡献： 提出的Convolutional GANs 可以使得GAN训练更加稳定 用训练的D来用于图片分类任务，跟其他一些无监督算法相比较中表现比较出色 从GANs中学到的filter并显示特定的filter能够识别特定的对象 G的一些向量属性可以控制生成的样例的质...

InfoGan，是在GAN是用到了信息论的算法，能够通过非监督的方式学习到特征的含义。非监督学习是ill-posed(解是不唯一的)，因为在训练的时候，下游的任务是未知的，如果能从数据样本的找到代表的特征，那么对于那些位置的任务也是非常有帮助的，例如对在一些人脸的数据集上，有用的disentagled representation可能会有不同的维度来表示人脸，眼睛的颜色，发型，是否带眼镜等。我们希望一个好的生成模型能够自动的学习到disentagled representation。最重要的生成模型...

这篇文章信息量有点大！文章的标题叫做Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks这里的unpaired 指的就是两个不同domain的图片集，不是配对的，不是一一对应的，是无序的，实际上，现实中配对的数据并不容易获得，所以CycleGAN 是无监督的！例如，斑马转化为马，夏天风景转换为冬天的风景。摘要部分： 主要提到了cycle consisten...

1.直接丢上算法细节包括生成器G 和 判别器D 首先训练D(红色框部分)，D来判别一个数据是真实数据的概率，值越大，说明D的输入X为真实数据的概率越大。对于D来说，有两个输入， 真实数据样本，即算法中提到的x(1),x(2),... G生成的数据，即算法中提到的z(1),z(2) 那么D就需要使得D(x）越大越好； 使得D(G(z))越小越好，1-D(G(z)) 越大越好，所以采用了梯度上升的方法去更新D的参数 再者训练G(蓝色框部分)，当D固定的时候，G生成的数据需要骗过D，骗这

transformer 是在文章 attention is all you need 中提出的，在机器翻译中，transformer的输入是一种语言，输出是另外一种语言。 transformer包含两部分：encoders 和 decoders , 这种结构就是常见的seq2seq模式，不同在于encoder 和 decoder 的结果。其中encoders 和 decoders 各自采用了6个encoder单元和6个decoder单元encoders 部分 6个encode...

全称是Embeddings from Language Models，从语言模型中学习到词向量。word2vec训练出的词向量有一个问题，一个词只有一个embbeding，实际上一个词会有多个含义，例如 苹果，可以代表水果，也可以代表手机，那么具体表示哪个可以根据上下文的语义来推测，这也是ELMO模型要解决的关键问题。模型：1.双向语言模型双向体现在，使用双向的LSTM模型 语言模型体现在Ngram模式 p(tk | t1,t2,...,tk-1)目标log似然函数为：...

本文引入了self-attention，在句子层面，通过一个2维的矩阵来表示，之前是通过一个向量来表示(例如用RNN把句子压缩成一个固定的向量)，这里的矩阵每行是捕获句子中不同的部分，另外在模型中提出了一个惩罚项。简介部分：当前获得词向量包含两种类型的方法：1. 基于全局的语料库，用非监督的算法进行训练2. 在做特定的任务的时候，利用监督学习做分类任务，顺便产生了词向量。通常这种方法效果比第1种类型的方法更好。一些模型利用RNN 和 CNN 作为一个分类或者排序任务中的中间步骤...

简介部分：对于机器翻译，之前的做法就是把输入压缩成一个向量，然后对这个encode后的向量进行decode，这种方法处理长句子比较难，尤其当句子的长度长于训练集中的语料库 本问提出的模型，当翻译生成一个词语的时候，我们在输入的序列中找到与目标词y(t)最相关的信息，模型预测目标基于这些位置信息的上下文的语义向量 以及 已预测出来的词(y1,y2,...,y(t-1) ) 共同进行。 本文...

文章中首先提到DNN，不能解决sequence2sequence的问题，这篇文章主要是用了多层的LSTM，把输入映射到一个固定的维度，然后再用另外一个LSTM，从这固定的向量去还原目标。这里采用了英文到发文的翻译，采BLEU来度量效果refer：Sequence to Sequence Learning with Neural Networks Goog...

refer：https://arxiv.org/pdf/1605.05101.pdfRecurrent Neural Network for Text Classification with Multi-Task Learning

charcnn 顾名思义，对于一段文本来说，我们以字符作为最小单位，而不是词语了。对于中文来说，我的名字叫做推推，那么到字符级别的话，该句子的构成为[我，的，名，字，叫，做，推，推] ，而不是 [我的,名字,叫做,推推]1.字符的量化对于英文来说，常见的包括26个英文字母，10个阿拉伯数字，还有33个标点符号，还有1个新的字符。 对于每个字符来说，可以用one-hot表示，...

TextCnn，顾名思义，就是将卷积神经网络应用在文本领域！1.模型示意图输入是一个n*k的矩阵，n表示一个句子切分后的序列，k表示每个词的词向量的维度 ,即 input -> hidden layer 通过权重矩阵h*k大小的W，W就是CNN中的filter，k是固定的，在词序列方向进行滑动，求卷积；然后加一个bias后做非线性激活，即 对于序列长度为n，filter...

这篇博客主要针对Bag of Tricks for Efficient Text Classification文章的一些理解。主要是介绍FastText算法是速度多块，通过标签预测和情感分析两个任务来说明。1. 模型的结构，文章中给出了这样的图上图注解中提到，x1，x2，,xN都是一个词向量，那么hidden是对N个词的词向量求平均，那么具体怎么计算呢？这个图不是非常直观...

1. 我们一般面对的数据是numpy array的格式，如何转变为支持batch_size，shuffle等功能的数据集呢，pytorch 采用DataLoader类来实现，参考源码# DataLoader 类的构造函数def __init__(self, dataset, batch_size=1, shuffle=False, sampler=None, ...

1.获取数据import tushare as ts# 获取代号为000300的股票价格cons=ts.get_apis()df=ts.bar('000001', conn=cons, asset='INDEX', start_date='2018-01-01', end_date='')2. 对于获取的数据按日期进行升序排列，因为我们要通过历史的情况预测未来的情况df=...

Elman Network & Jordan Network Bidirectional RNN LSTM

之前由于在本机mac中训练验证码识别，导致mac后来的使用有点卡，另外囊中羞涩，所以考虑用google的colab进行训练关于google的colab的使用，一般包含两个方面: google的云盘：https://drive.google.com/ colab：https://colab.research.google.com/notebooks/intro.ipynb ...

爬虫的时候遇到一些图片形式的验证码，比如数字字母组合，通过CNN我们可以训练一个模型，进行识别；下面是针对法院失信、执行的验证码，准确率达到90%+，基本够用。先看下效果吧！import torchfrom torch.autograd import Variableimport numpy as npfrom PIL import Imagefrom torchvisi...

一.数据类型64位整型：torch.LongTensor32位整型：torch.IntTensor16位整型：torch.ShortTensor64位浮点型：torch.DoubleTensorimport torchimport numpy as npfrom torch.autograd import Variablex0=torch.tensor([1,2,3,4]...

！ 比较简单，直接上代码import torchimport torch.nn as nnimport torch.optimfrom torch.autograd import Variablefrom sklearn import datasetsimport numpy as np#### 读取iris数据iris=datasets.load_iris()x,y...