<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[天在那边]]></title><description><![CDATA[专注人工智能]]></description><link>https://blog.youkuaiyun.com/weipf8</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weipf8]]></copyright><item><title><![CDATA[C/C++以链接库的形式调用Go代码]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/117981082</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/117981082</guid><author>weipf8</author><pubDate>Thu, 17 Jun 2021 09:23:22 +0800</pubDate><description><![CDATA[参考: https://gist.github.com/geraldstanje
首先编写go代码, 保存并命名为 test.go, 代码如下
package main

import "C"

import (
    "sort"
    "fmt"
)
//export Add
func Add(a, b int) int {
    return a + b
}
//export Sub
func Sub(a, b int) int {
    return a - b
}
//export Pri]]></description><category></category></item><item><title><![CDATA[Windows cmake 编译慢无响应文件下载失败?]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/117912494</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/117912494</guid><author>weipf8</author><pubDate>Mon, 14 Jun 2021 20:39:09 +0800</pubDate><description><![CDATA[大多是因为下载不通畅导致, 可以设置cmake通过代理即可, 在Windows命令行输入以下命令:
$HTTP_PROXY="http://localhost:10808",
cmake下载文件即可通过代理进行, 注意代理地址根据自己的实际情况进行更改.

]]></description><category></category></item><item><title><![CDATA[[解读] 浅析变分自编码器 (VAE)]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/107051468</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/107051468</guid><author>weipf8</author><pubDate>Tue, 30 Jun 2020 21:53:42 +0800</pubDate><description><![CDATA[变分自编码器 (VAE)
VAE 开篇论文:
(1312) Auto-Encoding Variational Bayes
(1401)Stochastic Backpropagation and Approximate Inference in Deep Generative Models
VAE 教程 (1606) Tutorial on Variational Autoencoders
VAE 综述 (1906) An Introduction to Variational Autoencoders
]]></description><category></category></item><item><title><![CDATA[[解读] Improving the Robustness of Capsule Networks to Image Affine Transformations]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106967533</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106967533</guid><author>weipf8</author><pubDate>Fri, 26 Jun 2020 11:13:51 +0800</pubDate><description><![CDATA[本文从理论和实验上表明了动态路由机制对胶囊网络的泛化性和对数据仿射变换的健壮性都没有起到太大的作用, 并且提出了两个小改进, 一个是对所有胶囊使用同一个矩阵进行线性变换, 另一个是取消了动态路由, 使用平均池化处理前一层的胶囊.
论文链接: https://arxiv.org/abs/1911.07968v3
相关工作
有很多工作致力于改进路由迭代算法. 例如文献 [27] 将已有的路由算法归纳为一个加权的核密度估计框架, 并且提出了两个使用不同优化策略的快速路由算法. 文献 [6] 提出了一种基于注意力机]]></description><category></category></item><item><title><![CDATA[[解读] Capsules with Inverted Dot-Product Attention Routing]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106891873</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106891873</guid><author>weipf8</author><pubDate>Sun, 21 Jun 2020 21:57:28 +0800</pubDate><description><![CDATA[本文提出一种新的胶囊网络路由算法, 主要有以下三个亮点: 首先通过一个反向的点积注意力来设计路由, 其次使用层规范化方法, 最后使用并发迭代路由的方法来取代序列式的迭代.
论文链接: https://arxiv.org/abs/2002.04764v2
开源代码:
https://github.com/apple/ml-capsules-inverted-attention-routing
https://github.com/yaohungt/Capsules-Inverted-Attention-Rou]]></description><category></category></item><item><title><![CDATA[[解读] Graph Attention Networks]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106594184</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106594184</guid><author>weipf8</author><pubDate>Sat, 06 Jun 2020 21:54:07 +0800</pubDate><description><![CDATA[本文提出一种图注意力网络 (GAT), 可用于图结构数据的节点分类任务, 解决了先前基于图卷积模型的缺点. 注意力机制能够给每个邻节点不同的可学习的权重, 增强了网络的表达能力, 避免了大规模的矩阵运算.
链接: https://arxiv.org/abs/1710.10903v3
开源代码: https://github.com/Diego999/pyGAT
相关工作
自注意力机制的一大优势是它能够聚焦于最相关的部分来帮助做决策. 自我注意已被证明对于诸如机器阅读 (Cheng et al., 2016)]]></description><category></category></item><item><title><![CDATA[[解读] Semi-Supervised Classification with Graph Convolutional Networks]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106594175</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106594175</guid><author>weipf8</author><pubDate>Sat, 06 Jun 2020 21:53:25 +0800</pubDate><description><![CDATA[作者受到谱图卷积的局部一阶近似的启发, 提出一种可扩展的图卷积网络, 可用于具有图结构数据的半监督学习.
论文链接: https://arxiv.org/abs/1609.02907v4
相关工作
本文考虑节点分类的半监督问题, 即所有节点中只有一部分的标签是已知的.  (Zhu et al., 2003; Zhou et al., 2004; Belkin et al.,2006; Weston et al., 2012) 等提出的方法, 标签信息通过某种显式的正则化基于图的正则化项来表达, 并且标签 信]]></description><category></category></item><item><title><![CDATA[[解读] MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106436597</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106436597</guid><author>weipf8</author><pubDate>Sat, 30 May 2020 08:38:24 +0800</pubDate><description><![CDATA[尽管生成对抗网络 (GANs) 在图像合成任务中取得了巨大成功, 但它们在适应不同数据集方面却异常困难, 部分原因是训练期间的不稳定以及对超参数的敏感性. 引起这种不稳定的一个普遍认为的原因是, 当真实和生成分布的支撑没有足够的重叠时, 从鉴别器到生成器的梯度将变得无用. 本文提出了多尺度梯度生成对抗网络(MSG-GAN), 这是一种简单但有效的技术, 通过允许从鉴别器到生成器的梯度流向多个尺度来解决此问题, 该技术为高分辨率图像合成提供了一种稳定的方法, 并且可以替代常用的渐进式生长技术.  实验表明 M]]></description><category></category></item><item><title><![CDATA[[解读] The relativistic discriminator: a key element missing from standard GAN]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106436583</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106436583</guid><author>weipf8</author><pubDate>Sat, 30 May 2020 08:30:58 +0800</pubDate><description><![CDATA[在标准的 GAN 中, 鉴别器用来估计输入样本为真实样本的概率, 生成器用来生成逼真的样本, 来提高被鉴别器鉴别为真实样本的概率. 然而本文提出生成器应该同时降低真实样本的真实性的概率.
首先因为这符合一个先验知识, 即在一个批次中有一半数据是真实的, 并且可以用散度最小化来验证这个设想, 在最佳设置中, 标准的 GAN 等效于积分概率度量 (IPM) 的 GAN.
作者表明相对鉴别器 (relativistic discriminator) 能够产生这样的效果, 即用来估计真实样本比虚假样本更真实的概率.]]></description><category></category></item><item><title><![CDATA[[解读] Multi-objective training of Generative Adversarial Networks with multiple discriminators]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106277396</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106277396</guid><author>weipf8</author><pubDate>Fri, 22 May 2020 12:27:56 +0800</pubDate><description><![CDATA[本文研究了多目标优化问题, 即通过使用多个鉴别器来提升生成样本的质量, 提出一种超体积最大化方法来进行训练, 这个优化方法在训练速度和生成样本质量之间达到了较好的权衡.
论文链接: https://arxiv.org/abs/1901.08680v1
相关工作
在最近的研究中已经进行了大量的研究来克服 GAN 框架内的不稳定性, 诸如 BEGAN (Berthelot et al., 2017) 之类的一些架构已将自动编码器用作鉴别器, 并提出了新的损失函数以帮助稳定训练. 诸如 TTUR (Heusel ]]></description><category></category></item><item><title><![CDATA[[解读] You Only Train Once Loss-Conditional Training of Deep Networks]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106150010</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106150010</guid><author>weipf8</author><pubDate>Fri, 15 May 2020 21:35:20 +0800</pubDate><description><![CDATA[传统的机器学习问题中, 损失函数往往是多个损失项的线性组合, 而权重系数却需要人工提前确定, 这就会带来一些问题, 比如这些权重如何影响最终的训练结果是不得而知的, 如何选择一组好的权重也是个困难的问题. 本文提出一种方法来解决这个问题, 通过对模型做简单的改动, 随机采样权重系数来参与模型训练. 通过理论分析证明这个方法能够实现与传统方法相当的性能, 并且没有需要人工确定权重的困扰.
论文链接: https://openreview.net/forum?id=HyxY6JHKwr
相关的工作
与我们的方法]]></description><category></category></item><item><title><![CDATA[[解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106149987</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106149987</guid><author>weipf8</author><pubDate>Fri, 15 May 2020 21:33:26 +0800</pubDate><description><![CDATA[本文提出一种寻找差异的生成式对抗网络(Difference-Seeking Generative Adversarial Network, DSGAN), 与传统的 GAN 不同, 这种网络用来生成未被发现的 (训练集以外的) 样本, 这些样本可以用来帮助半监督学习和新颖性检测以及对抗训练. 注意对这些未被发现的样本的分布不做任何要求.
论文链接: https://openreview.net/forum?id=rygjmpVFvB
相关的工作
已经证明，看不见的样本可以应用于多种应用. Dai et al]]></description><category></category></item><item><title><![CDATA[[解读] Positional Normalization]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/106016034</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/106016034</guid><author>weipf8</author><pubDate>Sat, 09 May 2020 11:56:11 +0800</pubDate><description><![CDATA[规范化 (Normalization) 方法是加速深度神经网络训练的常用方法, 已经有许多归一化方法的变体, 但它们都只是跨空间的规范化, 并且会丢弃掉规范化计算过程中得到的统计信息. 本文提出一种与众不同的跨通道的规范化方法, 作者认为这是一种很自然的想法, 因为这将能够从图像或特征图的某一位置提取到一阶和二阶矩, 捕获到某种结构信息.
论文链接: https://arxiv.org/abs/1907.04312v2
Github 项目地址: https://github.com/Boyiliee/PON]]></description><category></category></item><item><title><![CDATA[[解读] Rethinking the Usage of Batch Normalization and Dropout in the Training of Deep Neural Networks]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/105963023</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/105963023</guid><author>weipf8</author><pubDate>Thu, 07 May 2020 00:02:37 +0800</pubDate><description><![CDATA[论文链接:
本文提出一个新奇的方法来加快神经网络的训练速度, 基于这样一个想法, 即对输入进行白化处理有助于加快收敛速度. 已知独立的随机变量之间一定是白化的(不相关的), 所以对网络输入进行独立成分分析能够获得白化的输入. 然而进行独立成分分析是十分耗时的, 为此作者提出一种被称为 Independent-Component (IC) 的神经网络结构来实现, 这个结构是批归一化和 dropout...]]></description><category></category></item><item><title><![CDATA[直观解释矩阵的特征值与特征向量]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/105892662</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/105892662</guid><author>weipf8</author><pubDate>Sat, 02 May 2020 17:15:58 +0800</pubDate><description><![CDATA[矩阵的特征值与特征向量究竟意味着什么?
我的脑子比较笨, 很多东西一定要解释地特别直观, 否则我就是一头雾水. 尤其是矩阵的特征值与特征向量, 是线性代数中非常重要的概念. 我下决心要搞明白它到底有什么直观的含义.
现在只考虑二阶方阵, 并且特征值都是实数. 即假设
A=(4−211),
A =\left( \begin{matrix} 4 &amp; -2 \\1 &amp; 1\end{mat...]]></description><category></category></item><item><title><![CDATA[[解读] Coupled Generative Adversarial Networks]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/105801941</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/105801941</guid><author>weipf8</author><pubDate>Mon, 27 Apr 2020 22:49:36 +0800</pubDate><description><![CDATA[论文链接: https://arxiv.org/abs/1606.07536v2
Github 项目地址: https://github.com/mingyuliutw/cogan
本文提出耦合的生成对抗网络(CoGAN), 以学习多域图像的联合分布. 与现有方法不同, 后者需要训练集中不同域中对应图像的元组, 而 CoGAN 可以学习联合分布而无需任何对应图像的元组. 它可以仅从边际分布中抽取样...]]></description><category></category></item><item><title><![CDATA[[解读] Why Adam Beats SGD for Attention Models]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/105756588</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/105756588</guid><author>weipf8</author><pubDate>Sat, 25 Apr 2020 21:00:23 +0800</pubDate><description><![CDATA[链接: https://arxiv.org/abs/1912.03194v1
本文解释了为什么 Adam 优化方法比 SGD 要更有效, 简单说是因为 SGD 中的梯度范数的偏差太大导致的, 也就是说梯度向量的范数或者某些分量过大.  基于这个分析提出一个新的梯度裁剪方法, 效果比 Adam 还要好.
相关的工作
随机梯度下降 (SGD) 是用于训练神经网络的规范算法 (Robbins &amp;...]]></description><category></category></item><item><title><![CDATA[[解读] Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/105756574</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/105756574</guid><author>weipf8</author><pubDate>Sat, 25 Apr 2020 20:59:36 +0800</pubDate><description><![CDATA[链接: https://arxiv.org/abs/1912.03263v2
本文提出一个解释常用分类模型的新思路, 将之解读为一种基于能量模型, 得到一个生成模型和判别模型的混合模型, 这种混合模型的训练, 能够同时提高分类精度和样本生成质量.
相关的工作
(Xie et al., 2016) 做了一个相似的解读, 但是模型定义并不相同, 他们定义了一个基于条件的模型 p(x∣y)p(\math...]]></description><category></category></item><item><title><![CDATA[[解读] Dynamic Convolution: Attention over Convolution Kernels]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/105756526</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/105756526</guid><author>weipf8</author><pubDate>Sat, 25 Apr 2020 20:58:06 +0800</pubDate><description><![CDATA[链接: https://arxiv.org/abs/1912.03458v2
本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升.
相近的工作
动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度,  生成对应的权重, 这相当于一种注意力机制.
与 SENet 不同的是, 动态卷积处理的对象是卷积...]]></description><category></category></item><item><title><![CDATA[[解读]Mean Shift Rejection:Training Deep Neural Networks Without Minibatch Statistics or Normalization]]></title><link>https://blog.youkuaiyun.com/weipf8/article/details/105756507</link><guid>https://blog.youkuaiyun.com/weipf8/article/details/105756507</guid><author>weipf8</author><pubDate>Sat, 25 Apr 2020 20:56:38 +0800</pubDate><description><![CDATA[链接: https://arxiv.org/abs/1911.13173v1
深度卷积网络在较高的学习率下训练不够稳定, 使用归一化技术可以改善这一情况, 加快收敛. 批归一化 (Batch Normalization) 需要一定量的样本进行归一化计算, 这增加了额外的计算和内存消耗, 对于分布式计算, 也产生了通信的瓶颈. 本文给出了一种新的训练不稳定的解释, 认为是一种均值偏移的积累导致训练不...]]></description><category></category></item></channel></rss>