机器学习与神经网络
关注
分享
扫一扫
文章平均质量分 89
田神
还没想好怎么写
展开
-
《Few-Shot Learning with Graph Neural Networks》——少样本学习与图神经网络
目录一、简介二、【2】实现过程分析2.1 数据的准备2.2 GNN 网络2.2.1 特征提取网络2.2.2 顶点表达2.2.3 Adjacency 层2.2.4 Loss的解析2.3 数据验证所说明的问题三、GNN 的认识四、小结索引欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表...原创 2019-11-22 12:28:13 · 7615 阅读 · 10 评论 -
Pytorch构建模型的技巧小结（1）
1、保存模型参数和加载模型参数（A）保存参数# 2 ways to save the nettorch.save(net1, 'net.pkl') # save entire nettorch.save(net1.state_dict(), 'net_params.pkl') # save only the parameters（B）加载参数# copy net1's p...原创 2018-08-21 17:45:37 · 1573 阅读 · 0 评论 -
谱图（Spectral Graph Theory）理解（1）
近日看《Semantic Soft Segmentation》（语义软分割），其中一个核心思想是：将来自传统图像处理的底层特征和来自Deep Learning的高级特征，通过谱图（Spectral Graph）框架进行融合。此融合能综合多种处理方法的结果，得到一个很好的处理效果，而且为我们提供了一种机器学习的融合思路和方法。谱图是图论（Graph Theory）与线性代数（Linear Alge...翻译 2018-09-18 19:52:49 · 21239 阅读 · 7 评论 -
谱图（Spectral Graph Theory）理解（2）
参考文章：Introduction to Spectral Graph Theory and Graph Clustering作者：Chengming Jiang，ECS 231 Spring 2016 University of California, Davis本文的目的是进行计算机图像分割：图1 图像分割一、预备知识关于图（G）、度矩阵（D）、邻接矩阵（A）皆在上一篇理解中交代过...翻译 2018-09-19 12:13:40 · 5462 阅读 · 8 评论 -
谱范数正则（Spectral Norm Regularization）的理解
近来，DeepMind的一篇论文《LARGE SCALE GAN TRAINING FORHIGH FIDELITY NATURAL IMAGE SYNTHESIS》（arXiv:1809.11096v1）[1]（通过大规模Gan训练，得到高精度的合成自然图像）引起了广泛的关注。其中，为保证其大批次（batch够大）Gan训练的稳定性，[1]引入了谱范数正则技术（Spectral Norm Re...原创 2018-10-30 20:06:44 · 21856 阅读 · 13 评论 -
谱归一化（Spectral Normalization）的理解
《Spectral Normalization for Generative Adversarial Networks》【1】是Takeru Miyato在2018年2月发表的一篇将谱理论应用于Gan上的文章，在2017年，本文的第3作者Yuichi Yoshida就发表了一篇著名的谱范数正则（Spectral Norm Regularization）的文章【2】，如有兴趣也可参看我的上一篇Blo...原创 2018-11-02 11:48:12 · 39961 阅读 · 11 评论 -
一个简单两层网络的演变
https://github.com/jcjohnson/pytorch-examples原创 2018-11-05 21:42:58 · 616 阅读 · 0 评论 -
《A Distributional Perspective on Reinforcement Learning》的理解
参考：1、《A Distributional Perspective on Reinforcement Learning》https://arxiv.org/abs/1707.068872、《Distributional Bellman and the C51 Algorithm》https://flyyufelix.github.io/2017/10/24/distributional-b...原创 2019-01-28 16:34:30 · 3198 阅读 · 2 评论 -
不动点理论在《A Distributional Perspective on Reinforcement Learning》上的应用
Fixed point理论是 Banach Space 中重要的理论工具。它常被用来讨论某个空间解的存在性，并由此发展出通过迭代的方式进行问题求解的算法。在[1]中，Fixed Piont理论处于整个算法的核心位置，是以分布式Bellman方程代替期望值Bellman方程的理论基础。本文将分成两个部分浅析之：第一部分 Fixed Point的迭代算法介绍；第二部分 Distributional 算...原创 2019-03-22 11:58:01 · 1662 阅读 · 0 评论 -
混合高斯聚类的一种实现方法
近来看了一篇文章《Hierarchical Clustering of a Mixture Model》【1】，它是一篇比较早的文章了，2005年，Jacob Goldberger Sam Roweis，Department of Computer Science, University of Toronto。文中讲到一种简单的高斯聚类方法，近来有文章将它用于目标检测（Object Detecti...原创 2019-06-22 16:00:14 · 1119 阅读 · 0 评论 -
从 PixelCNN 到 Gated PixelCNN，再到 Conditional Gated PixelCNN
一、简介PixelCNN 是一个生成模型，2016年出自DeepMind的Aaron van den Oord[1]。[5]指出当前的生成模型主要可分为两类：基于最大似然的模型，比如：各类VAE（变分自编码器） 和 autoregressive models（自回归模型）隐式生成模型，比如：Gan（生成对抗网络）PixelCNN属于第一种模型，即最大似然模型。这种生成模型较Gan的优势...原创 2019-07-13 07:56:33 · 11383 阅读 · 7 评论 -
通过代码学习 VQ-VAE
VQ-VAE（Vector Quantised Variational AutoEncoder，矢量量化变分自动编码）是【1】提出的一种离散化VAE方案，近来【2】应用VQ-VAE得到了媲美于BigGan的生成模型。由此可见， VQ-VAE 有着强大的潜力，且【1】和【2】皆为DeepMind的作品，让我们通过代码来认识它，学习它。一、简介光看论文一知半解，需要看看它的实现。我在GitHub中...原创 2019-06-30 15:24:28 · 17674 阅读 · 5 评论 -
CornerNet：不用 Anchor Boxes 也能进行目标检测（Object Detection）
一、简介目标检测（Object Detection）是图像识别的一个重要领域，近来看了一篇19年8月的相关综述《Recent Advances in Deep Learning for Object Detection》[1]，发现自己又落伍了，现在已经到了不用 anchor boxes也能进行目标定位了。我们来看看文中给出的一个 Object Detection 的发展脉络：图1 基于深度...原创 2019-09-04 20:58:42 · 939 阅读 · 0 评论 -
写给自己看的yolo 3
目录一、Yolo 3 简介二、 Yolo 3 的实现2.1 特征提取 Backbone2.2 特征金字塔（feature pyramid networks）2.3 输出检测部分——FCN2.4 Things We Tried That Didn’t Work三、小结一、Yolo 3 简介Yolo 3 【1】是一款2018年推出的简单、高效的目标检测算法，它仅用卷积层，实现了一个全卷积网络（Fu...原创 2019-10-01 07:25:36 · 504 阅读 · 0 评论 -
Bayesian Network的辅助模型
Bayesian Network是有向无环图（directed acyclic graph, DAG），其推断的过程是由根节点（root node）逐次扩散到叶节点（leaf node）的过程，在Bayesian Network的一个节点可以描述为以下方向图： 图1 Bayesian Network的一个节点 图1中 ZjZj\mathbf Z_j 是Bayesian Network中的一...原创 2018-08-19 14:15:56 · 469 阅读 · 0 评论 -
GAN的Loss的比较研究（4）——Wasserstein Loss理解（2）
关于Wasserstein Distance的计算，似乎还有一个简单一点的计算方法，在《BEGAN: Boundary Equilibrium Generative Adversarial Networks》中给出了一个推导的过程： Wasserstein Distance的定义式如下： W(ℙr,ℙg)=infγ∈Π(ℙr,ℙg)E(x,y)∼γ[‖x−y‖](1)W(Pr,Pg)=infγ...原创 2018-07-23 12:51:53 · 5784 阅读 · 1 评论 -
Deformable Convolutional Network的原理与实现
Deformable Convolutional Network的原理与实现本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl +...原创 2018-07-05 10:40:20 · 11813 阅读 · 3 评论 -
CUDA on Ubuntu: unsupported GNU version! gcc versions later than 5 are not supported!
https://carterturn.com/h/Guides/NVIDIA%20CUDA%208.0%20with%20GCC%207After updating my system to Fedora 26, I was pleased to find that I had a shiny new GCC version, GCC 7.1.1. Unfortuntely, the most...转载 2018-07-05 13:36:14 · 3554 阅读 · 0 评论 -
GAN的Loss的比较研究（1）——传统GAN的Loss的理解1
GAN(Generative Adversarial Network)由两个网络组成：Generator网络（生成网络，简称G）、Discriminator网络（判别网络，简称D)，如图： 图1 GAN概念图 因而有两个Loss：Loss_D（判别网络损失函数）、Loss_G（生成网络损失函数）。 Loss_D只有两个分类，Real image判为1，Fake image（由G生成）判为...原创 2018-07-18 16:23:11 · 42819 阅读 · 14 评论 -
GAN的Loss的比较研究（2）——传统GAN的Loss的理解2
判别器（Discriminator）输入一个图片xx\mathbf x原创 2018-07-18 23:10:24 · 2070 阅读 · 1 评论 -
BEGAN: Boundary Equilibrium Generative Adversarial Networks的理解
BEGAN: Boundary Equilibrium Generative Adversarial Networks的理解这是一篇2017年5月上传到arXiv上的文章，作者是David Berthelot，来自Google。Boundary Equilibrium译作“边界均衡”，文章创新的地方主要有以下几个地方：应用auto-encoder实现DiscriminatorDiscr...原创 2018-07-13 17:58:33 · 1814 阅读 · 0 评论 -
GAN的Loss的比较研究（5）——能量Loss
上一篇文章讲的是《BEGAN: Boundary Equilibrium Generative Adversarial Networks》将能量函数（Energy）与Wasserstein Distance相结合，再辅之以比例反馈控制，让GAN迅速收敛，并保持了多样性。具体是：让Auto-Encoder作为Discriminator，将原图与重建图的逐点差异（pixel-wise error...原创 2018-07-25 12:59:41 · 3529 阅读 · 0 评论 -
GAN的Loss的比较研究（3）——Wasserstein Loss理解（1）
前两篇文章讨论了传统GAN的Loss，该Loss有些不足的地方，导致了GAN的训练十分困难，表现为：1、模式坍塌，即生成样本的多样性不足；2、不稳定，收敛不了。Martin Arjovsky在《Towards principled methods for training generative adversarial networks》、《Wasserstein GAN》文章中，对传统Loss造成...原创 2018-07-21 18:36:06 · 16562 阅读 · 2 评论 -
VAE的推导
参考文章《Auto-Encoding Variational Bayes》. 假设数据集是独立同分布（I.I.D），每个样本皆服从随机分布P(⋅)P(⋅)P(\cdot)，数据集有N个样本。我们构造由N个随机变量构成的联合分布P(x1,...,xN)=∏Ni=1P(xi)P(x1,...,xN)=∏i=1NP(xi)P(\mathbf x_1,\text{...},\mathbf x_N)=\p...原创 2018-07-28 11:17:56 · 3698 阅读 · 0 评论 -
VAE与GAN的关系(1)
本文参考：Variational Inference: A Unified Framework of Generative Models and Some Revelations，原文：arXiv:1807.05936 文章有一个中文链接：https://www.paperweekly.site/papers/211 文章来自中山大学 数学学院 苏剑林。文中为两个生成模型建立了统一的框架，并提...原创 2018-08-15 22:50:40 · 14635 阅读 · 1 评论 -
VAE与GAN的关系(2)
上文从 KL(q(x,y)‖p(x,y))KL(q(x,y)‖p(x,y))KL(q(\mathbf x, y)\Vert p(\mathbf x, y)) 推导出GAN的两个Loss，并给出生成器Loss的正则项设计思路，接下来我们仍从引入隐变量构成联合概率分布角度推导VAE的Loss。 首先，我们观察KL(p(x,z)‖q(x,z))KL(p(x,z)‖q(x,z))KL(p(\mathbf...原创 2018-08-16 10:59:03 · 1445 阅读 · 0 评论 -
ALI比GAN的优势在哪里？
ALI是将VAE与GAN混合的一个模型，为什么它会比GAN好呢？原创 2018-08-22 08:18:24 · 1839 阅读 · 1 评论