Hungryof的专栏

论文：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecastingtransformer主要是增强网络的全局信息利用能力。因为普通的卷积网络都是local信息利用，其在全局信息利用上存在不可避免的短板。所以才会有类似non-local attn的存在。 transformer里面的核心就是attn，一般来说，A(qi,K,V)=Softmax(QKTd)V\mathcal{A}(\mathbf{q}_i,

总说主要从几个方面来进行说明吧 - 加快transfer的速度 - 让transfer的效果看起来更加visual-pleasing - 其他的一些方面 - 用GAN来做加快style stransfer 谈谈图像的Style Transfer（一） 这里写了 Neural style以及fast neural style。 在超越fast style transfer—-任意风格图和内

DistanceGAN, 这篇论文related work写的不错。。。

神经网络BP算法的通熟易懂的解释

feature matching的代码写法

根据文字描述生成对应的图片

总说简单来说，这个其实类似 Deep photo吧，都是加了分割mask的。和Deep Photo的区别就是，那么仍旧采用Gram-matrix-matching的方式进行style loss的计算。这个采用的是CNNMRF的style loss。 框架也是一样，采用一个能提取特征的model，一般就选VGG19了。然后在隐藏层上进行一些loss的计算。主要是content loss和styl

猫变狗的语义GAN生成

这是终篇，记录一些坑吧。以前也记录了一点儿。 Torch代码书写时可能碰到的一些问题 慢慢记录吧，如果心情好的话。第一次更新：2017-4-20

pytorch自定义层，各种情况说明。

pytorch版的neural style解读

以前听说cs231n课程，稍微看了看，发现讲的很不错，故而记之，只记录本人认为有用的不准备分成多个博客了，全部杂糅放在这里得了。更新方式AdaGradcache += dx ** 2x += -learning_rate * dx/(np.sqrt(cache)+1e-7)以前的SGD之类的，都是对每个参数运用同一个学习率，但是我们能不能对每个参数运用不同的学习率呢？ AdaGrad就可以做到。可

像素级别的属性转换

总说这里主要讲解Inpainting的主要发展历程。从2001年到2014年的图像填充方法概述。

PaperWeekly 第41期 | 互怼的艺术：从零直达 WGAN-GPNotes on the Cramer GAN演讲 | 今日头条AI技术沙龙马毅：低维模型与深度模型的殊途同归 An overview of gradient descent optimization algorithms变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作 (待看）如何通俗的解释交叉熵与相...

总说这篇主要是如何一步步说明RNN和LSTM的形式的构造，方便对模型有一个更直观的理解。写的比较随意。RNN我们知道，卷积是一个输入，得到一个输出。但有时候我们想输出一串，然后得到一串输出呢？并且是这一串都是相互有关联的，比如句子翻译。我们就需要一种能针对历史信息进行融合的单元，比如RNN。其实想想，只要以某种形式，将历史信息与当前输入进行有效融合的方式，应该都可以处理类似的问题。

初衷其实, 有时候你会很难受. 因为你有一些想法, 在python端写会很慢, 写成cuda代码又有难度, 还要想着各种优化. 这时候你就不爽了,好不容易想到骚操作, 竟然因为写不来代码, 就泯灭这个想法吗. 这时候, 你可以看看Tensor Comprehesions(TC)这个包.先吹一波: TC是一个让你不用写高性能代码的包, 它会直接根据简单的语法来生成GPU代码. 如果你还在为...

总说离 谈谈图像的style transfer ( 二 ) 已经整整一年了, style transfer有了一定程度的进步, 技术已经基本成熟, 发展也不怎么快了. 不够还是有很多值得学习的地方, 故而记录.准备看的论文(下面抽10篇记录,凑个整.): - Universal Style transfer via Feature Transforms (2017-11) - Impr...

配置总说matconvnet本人采用的matconvnet是MatConvNet 1.0-beta18. 版本到时没太大关系，反正自己去官网下就行。 http://www.vlfeat.org/matconvnet/ 最近更新： 2017-5操作系统与cuda采用了win7 64bit，VS2013，MATLAB2015a， cuda7.5 还是那句话，要想让MATLAB2015a用vs

总说最近更新：17-5-9 增加Neural style使用Gram矩阵的前提工作其实这个方向火起来是从2015年Gatys发表的一篇文章 A Neural Algorithm of Artistic Style, 当然了，当时新闻报道还是很标题党的，看的我热血沸腾。。言归正传，虽然只过了短短一年多，但是相关的论文已经有二三十篇了，这些论文在原有的基础上进行了极大的扩展。从最初的Neural

总说tensorflow学习初体验

简介其实吧，一般在神经网络中用的最多的是sigmoid和tanh，当然也有用relu的。这是针对“是”和“否”的分类，但当进行多分类时，就要用到softmax 。在logistic回归中，训练样本是：{(x(1),y(1)),...,(x(m),y(m))}\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\}，值得注意是，每个样本x(i)∈R(n+1)x^

总说： 这篇博客主要是讲VCNN框架的一些东西。表示还没怎么看懂。虽然有点眉目了。还是记录一下吧。 https://github.com/Georgezhouzhou/vcnn_double-bladed

MatConvNet笔记

Going Deeper with ConvolutionsRethinking the Inception Architecture for Computer VisionDeep Residual Learning for Image RecognitionInception-v4,Inception-ResNet and the Impact of Residual

It mainly covers how to normalize layers in back-propagation.

This blog is mainly about how to normalize different types of layers.

基本理解CNN降低训练参数的2大法宝局部感受野、权值共享 局部感受野：就是输出图像某个节点（像素点）的响应所对应的最初的输入图像的区域就是感受野。 权值共享：比如步长为1，如果每移动一个像素就有一个新的权值对应，那么太夸张了，需要训练的参数爆炸似增长，比如从32x32的原图到28x28经过convolve的图，如果后者的每一个像素对应前面的一个参数，那参数实在是多。权值共享就是将每次覆盖区域的图

Gram矩阵其实是一种度量矩阵。

torch7学习（一）——Tensor Torch7学习(二) —— Torch与Matlab的语法对比 Torch7学习（三）——学习神经网络包的用法（1） Torch7学习（四）——学习神经网络包的用法（2） Torch7学习（五）——学习神经网路包的用法（3） Torch7学习（六）——学习神经网络包的用法（4）——利用optim进行训练

torch与matlab的语法对比，以便更好掌握两门语言。

torch7框架之神经网络训练

总说上篇博客已经初步介绍了Module类。这里将更加仔细的介绍。并且还将介绍Container， Transfer Functions Layers和 Simple Layers模块。Module主要有4个函数。 1. [output]forward(input) 2. [gradInput] backward (input.gradOutput) 以及在后面自动挡训练方式中重载的两个函数

总说这篇博客主要是讲对于只有简单层的神经网络，进行手动挡的训练方法。 以及卷积层模块以及criterion模块。例子Simple Layer的Add层。module = nn.Add(inputDim, scalar)y = torch.Tensor(5)mlp = nn.Sequential()mlp:add(nn.Add(5))function gradUpdate(net,x,y,cri

总说这篇博客是本系列的最后一篇，着重讲如何利用optim包进行自动挡训练。-- standard training code-- Here let's train XOR net.require 'torch'require 'cunn'require 'cutorch'require 'nn'require 'optim'-- dataset generatelocal minibat

neural style代码解析Torch的框架

clone尴尬，我们都知道torch中为了加快速度，直接=其实是引用，并不开辟新的空间。那么我们绝大部分情况下，都是希望开辟新的空间的，即我们需要加clone()。 加clone的情况： 当且仅当变量与变量之间赋值时，可以加上clone，特别是当一个变量要分别赋值给两个变量时，一般都要加上。其他情况一般不用加 比如下面函数是我要检查某一层的梯度：function check_gradient(

学习torch框架应该看的资料