qq_36767053的博客

https://www.cnblogs.com/DLlearning/p/7834018.html

深度学习多分类问题中，最后一层通常会用Softmax输出每个类别的概率，然后计算交叉熵损失进行反向传播。Softmax公式为：当对Softmax函数进行求导时，可以分为两种情况：（1）当 k=ik=ik=i 时：根据sofrmax公式，上式可以化简为：（2）当 k≠ik \neq ik​=i 时：上述两种情况加起来便可以得到最终的反向传播公式：参考：https://blog.youkuaiyun.com/Charel_CHEN/article/details/81266575...

如何理解 Graph Convolutional Network（GCN）空间方法的GCN论文：GCN: Kipf, T. N., & Welling, M. (2016). Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907.GraphSAGE: Hamilton, W., Ying, Z., & Leskovec, J. (2017).

https://zhuanlan.zhihu.com/p/53682800

https://www.cnblogs.com/qflyue/p/8244331.html

导包import numpy as np1.创建矩阵1.1 ndarray#创建一维的narray对象a = np.array([1,2,3,4,5])#创建二维的narray对象a2 = np.array([[1,2,3,4,5],[6,7,8,9,10]])1.2 通过函数创建矩阵1.2.1 np.arange([start, ]stop, [step, ], dtype=None)a = np.arange(10) # 默认从0开始到10（不包括10），步长为1b = bn

当网络的学习指标不再提升时，可以torch.optim.lr_scheduler.ReduceLROnPlateau类降低学习率。class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)参数说

面试的时候让手撕正向卷积，当时懵了一下然后按照卷积的定义磕磕巴巴写了个大概，现在修改整理一下，博主也是深度学习刚入门，有错误的话请指出。输入：NHWCkernel：kkC_input*C_outputstrides=1padding=VALIDbias=False输出:outputsdef conv2d_forward(inputs, kernel): outputs = [] for n in range(C_output): # 遍历每个卷积核 h = (H

       总结：Batch Normalization的引入主要还是为了解决“Internal Covariate Shift”数据分布的改变问题。随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动，之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近。所以这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因，而BN就是通过一定的规范化手段，把每层神经网络任意神经元这个..

    语音识别的全称是自动语音识别（Automatic Speech Recognition，ASR），说得多了， 就把“自动”省去了，认为“自动”是理所当然的了。语音识别属于序列转换技术，它将语音序列转换为文本序列。大体来说，这是一次搬运，是把一段话的表现形式从语音变成了文本，至于文本想要表达的深层含义（自然语言理解）、倾诉的感情（情感识别）、说话人的身份（说话人识别），就需要其他的技术来处理，所以语音应用开始时是分工明确的，但这显然不符合人类对语音的感知和理解.

    从最起初的一声巨响，到梵音天籁，到耳旁的窃窃私语，到妈妈喊我回家吃饭，总离不开声音。声音是这个世界存在并运动着的证据。1.1  大音希声    假设我们已经知道了声音是什么。    我们可以找到很多描述声音的词语，如“抑扬顿挫”、“余音绕梁”。当我们在脑海中搜刮这类词语时，描述对象总绕不过这两个：人的声音和物的声音。人的声音，就是语音；物的声音，多数想到的是音乐。这样的选择源于人的先验预期：语音和音乐才最可能有意义，..

https://blog.youkuaiyun.com/richard2357/article/details/16896837

https://www.zhihu.com/question/20398418/answer/167412177先占坑，后续补

深度网络attention泛滥，归根到底就是一个加权求和。https://zhuanlan.zhihu.com/p/59698165

https://www.jianshu.com/p/24044f4c3531

https://blog.youkuaiyun.com/weixin_41923961/article/details/82750687

1. SGDBatch Gradient Des...

转自：机器学习基础 | 偏差与方差导致偏差和方差的原因偏差通常是由于我们对学习算法做了错误的假设，或者模型的复杂度不够；比如真实模型是一个二次函数，而我们假设模型为一次函数，这就会导致偏差的增大（欠拟合）；由偏差引起的误差通常在训练误差上就能体现，或者说训练误差主要是由偏差造成的方差通常是由于模型的复杂度相对于训练集过高导致的；比如真实模型是一个简单的二次函数，而我们假设模型是一...

参数初始化往往是模型训练前比较重要的一步，主要是因为其可以加快梯度下降收敛的速度，并且尽量的使其收敛于全局最优。参数初始化的条件：Glorot条件：优秀的初始化应该保证以下两个条件：各个层的激活值（输出值）的方差要保持一致（前向传播）各个层对输入的梯度的方差要保持一致（反向传播）注意事项：参数不能全部初始化为0，也不能全部初始化同一个值；最好保证参数初始化的均值为0，正负交错，...

import matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_dataimport numpy as np mnist = input_data.read_data_sets('data', one_hot = True)num_classes = 10input_siz...

TensorFlow是Google开源的深度学习框架，使用数据流图(data flow graphs)来进行数值计算。参考文章：(http://www.jeyzhang.com/tensorflow-learning-notes.html)基本概念使用图 (graph) 来表示计算任务。在会话 (Session) 的上下文 (context) 中执行图。使用 tensor 表示数据。...

原文章链接(https://blog.youkuaiyun.com/u012679707/article/details/80350914) ...

1.tf.random_uniform()tf.random_uniform([row_dim,col_dim],minval=0,maxval=1)从均匀分布中取随机值。minval：均匀分布的最小值maxval：均匀分布的最大值2.tf.random_normal()tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf...