littlefatguy的博客

标题： A Comprehensive Survey on Community Detection with Deep Learning（基于深度学习的社区检测研究综述）作者团队： 麦考瑞大学计算机学院苏兴摘要： 检测网络中的社区是辨别一组成员的不同特征和联系的问题，这些特征和联系与其他社区中的成员不同。执行此操作的能力在网络分析中具有重要意义。然而，除了经典的光谱聚类和统计推理方法之外，近年来用于社区检测的深度学习技术也取得了重大发展，尤其是在处理高维网络数据时。

具体如下图所示。再回头运行代码就不会报错了。

想象一下，假设我们想从一张图片中找到某个物体。合理的假设是：无论哪种方法找到这个物体，都应该和物体的位置无关。理想情况下，我们的系统应该能够利用常识：猪通常不在天上飞，飞机通常不在水里游泳。但是，如果一只猪出现在图片顶部，我们还是应该认出它。卷积神经网络正是将空间不变性（spatial invariance）的这一概念系统化，从而基于这个模型使用较少的参数来学习有用的表示。

4.双向循环神经网络（Bi-RNN）4.1 隐马尔可夫模型中的动态规划假设有一个隐变量模型：在任意时间步t，假设存在某个隐变量hth_tht​，通过概率 P(xt∣ht)P(x_t|h_t)P(xt​∣ht​) 控制我们观测到的xtx_txt​。此外，任何ht→ht+1h_t \to h_{t+1}ht​→ht+1​ 转移都是由一些状态转移概率 P(ht+1∣ht)P(h_{t+1}|h_t)P(ht+1​∣ht​) 给出。这个概率图模型就是一个隐马尔可夫模型（hidden Markov model,

现代循环神经网络1.门控循环单元（GRU）梯度异常在现实中可能会导致以下几种情况：早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和， 目标是在序列的末尾辨别校验和是否正确。 在这种情况下，第一个词元的影响至关重要。 我们希望有某些机制能够在一个记忆元里存储重要的早期信息。 如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度， 因为它会影响所有后续的观测值。一些词元没有相关的观测值。 例如，在对网页内容进行情感分析时， 可能有一些辅助

在上一节的n元语法模型中，其中单词xt​在时间步t的条件概率仅取决于前面n−1个单词。对于时间步t−n−1之前的单词，如果想要将其可能产生的影响合并到xt​上，需要增加n，然而模型参数的数量也会随之呈指数增长，因为词表$\mathcal{V}需要存储Pxt​∣xt−1​˙​x1​≈Pxt​∣ht−1​其中ht−1​。

注意力机制1.基础概念1.1 查询、键和值在人类的注意力方式中，有自主性的与非自主性的注意力提示两种解释方式。所谓自主性注意力提示，就是人本身主动想要关注到的某样东西；非自主性提示则是基于环境中物体的突出性和易见性，由客观因素影响使得人不自知地而关注到某样东西。在注意力机制中也是通过这两种注意力提示在神经网络中搭建相关框架。首先，考虑一个相对简单的状况，即只用非自主性提示。要想选择偏向于感官输入，则可以简单地使用参数化的全连接层，甚至是非参数化的最大汇聚层或者平均汇聚层。因此，“是否包含自主性提示”

1943年，心理学家Warren McCulloch和数学家Walter Pitts发表论文《A Logical Calculus Of The Ideas Immanent In Nervous Activity》(神经活动中固有思想的逻辑演算),提出了简化脑细胞的概念，也就是所谓的。McCulloch和Pitts把神经细胞描述为带有二元输出的简单逻辑门。多个信号到达树突，然后整合到细胞体，当累计信号量超过一定阈值时，输出信号就通过轴突。将MP神经元模型放在数学模型中来看，我们用x。

1.颜色空间/颜色模型1.1 RGB模型RGB(Red, Green, Blue)模型表示的图像由3个分量图像组成，每种原色一幅分量图像。当送入RGB监视器时，这3幅图像在屏幕上混合生成一幅合成的彩色图像。考虑一幅RGB图像，其中每一幅图红绿蓝图像都是一幅8比特图像。在这种情况下，可以说每个RGB彩色像素有24比特的深度。在24比特RGB图像中，颜色总数是(28)3=16777216。下图为分别为RGB彩色立方体示意图和对应的RGB24比特彩色立方体。RGB颜色空间最常用的用途就是显示器系统，彩色阴

现代卷积神经网络1.深度卷积神经网络（AlexNet）在LeNet提出后，卷积神经网络在计算机视觉和机器学习领域中很有名气。但卷积神经网络并没有主导这些领域。这是因为虽然LeNet在小数据集上取得了很好的效果，但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。事实上，在上世纪90年代初到2012年之间的大部分时间里，神经网络往往被其他机器学习方法超越，如支持向量机（SVM）。Alex Krizhevsky、Ilya Sutskever和Geoff Hinton提出了一种新的卷积神经网

到目前为止，我们遇到过两种类型的数据：表格数据和图像数据。 对于图像数据，我们设计了专门的卷积神经网络架构来为这类特殊的数据结构建模。 换句话说，如果我们拥有一张图像，我们需要有效地利用其像素位置， 假若我们对图像中的像素位置进行重排，就会对图像中内容的推断造成极大的困难。最重要的是，到目前为止我们默认数据都来自于某种分布， 并且所有样本都是独立同分布的 （independently and identically distributed，i.i.d.）。 然而，大多数的数据并非如此。 例如，文章中的单词