shaodongheng的博客

文章目录介绍代码卷积自动编码器参考《深度学习入门之Pytorch》介绍自动编码器最开始是作为一种数据压缩方法，同时还可以在卷积网络中进行逐层预训练，但是随后更多结构复杂的网络，比如 resnet 的出现使得我们能够训练任意深度的网络，自动编码器就不再使用在这个方面，下面我们讲一讲自动编码器的一个新的应用，这是随着生成对抗模型而出现的，就是使用自动编码器生成数据。由上面的图片，我们能够看到，第一部分是编码器(encoder)，第二部分是解码器(decoder)，编码器和解码器都可以是任意的模型，通常

文章目录摘要算法网络代码结构摘要本文研究了关系数据中的半监督对象分类，这是关系数据建模中的一个基本问题。统计关系学习（例如关系马尔可夫网络）和图神经网络（例如图卷积网络）的文献都对该问题进行了广泛的研究。在本文中，我们提出了结合两个方法优点的图马尔可夫神经网络（GMNN）。 GMNN使用条件随机场对对象标签的联合分布进行建模，可以使用变分EM算法对其进行有效训练。在E步中，一个图神经网络学习有效的对象表示形式，以近似对象标签的后验分布。在M步中，另一个图神经网络用于对局部标签依赖性进行建模。算法网络代

文章目录基本原理字符增强代码参考：《深度学习入门之Pytorch》基本原理定义好一个LSTM网络，然后给出一个由很多个词构成的句子，每个词可以用一个词向量表示，这样一句话就可以看做是一个序列，序列中的每个元素都是一个高维向量，将这个序列传入LSTM，可以得到与序列等长的输出，每个输出都表示为对词性的判断，比如名词、动词等。从本质上看，这是一个分类问题，虽然使用了LSTM，但实际上是根据这个词前面的一些词来对它进行分类，看它是属于几种词性中的哪一种。如果完全孤立地对一个词做词性的判断，往往无法得到比较准

文章目录词嵌入代码Skip-Gram 模型如何取词建模模型细节隐层，我们需要的结果输出N Gram模型代码词嵌入参考：《深度学习入门之Pytorch》词嵌入到底是什么意思呢？其实很简单，对于每个词，可以使用一个高维向量去表示它，这里的高维向量和one-hot的区别在于，这个向量不再是0和1的形式，向量的每一位都是一些实数，而这些实数隐含着这个单词的某种属性。这样解释可能不太直观，先举四个例子，下面有4段话：(1)The cat likes playing ball.(2)The kitty lik

文章目录RNN标准RNN代码RNN标准RNN在PyTorch中的调用也非常简单，使用 nn.RNN（）即可调用，下面依次介绍其中的参数。RNN() 里面的参数有input_size 表示输入 xt 的特征维度hidden_size 表示输出的特征维度num_layers 表示网络的层数nonlinearity 表示选用的非线性激活函数，默认是 ‘tanh’bias 表示是否使用偏置，默认使用batch_first 表示输入数据的形式，默认是 False，就是这样形式，(seq, b

文章目录公式原理代码转载自《深度学习入门之pytorch》公式原理GRU是Gated Recurrent Unit的缩写，由Cho在2014年提出。GRU和LSTM最大的不同在于GRU将遗忘门和输入门合成了一个“更新门”，同时网络不再额外给出记忆状态Ct，而是将输出结果ht作为记忆状态不断向后循环传递，网络的输入和输出都变得特别简单。GRU具体的计算过程可以用图5.17来表示。线性变换没有使用偏置，由于记忆状态也是ht-1，所以直接对它进行更新就可以了，最后输出网络的结果ht，这个结果也是网络的记

文章目录简介具体流程简介LSTM的抽象网络结构示意图如图5.10所示。从图5.10中可以看出LSTM由三个门来控制，这三个门分别是输入门、遗忘门和输出门。顾名思义，输入门控制着网络的输入，遗忘门控制着记忆单元，输出门控制着网络的输出。这其中最重要的就是遗忘门，遗忘门的作用是决定之前的哪些记忆将被保留，哪些记忆将被去掉，正是由于遗忘门的作用，使得LSTM具有了长时记忆的功能，对于给定的任务，遗忘门能够自己学习保留多少以前的记忆，这使得不再需要人为干扰，网络就能够自主学习。具体流程下面来依次解释它们内

简单处理数据集的缺失值示例数据集代码示例代码完整代码比较不同的插补统计量在进行预测时的SimpleImputer转换原文来源自示例数据集Horse Colic Dataset（病马数据集：https://raw.githubusercontent.com/jbrownlee/Datasets/master/horse-colic.csvHorse Colic Dataset Description：https://raw.githubusercontent.com/jbrownlee/Datas

Res-Net论文论文简读代码主要代码块代码论文He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi:10.1109/cvpr.2016.90论文简读Recent evidence[40, 43] reveals