VioletHan7的博客

主要内容来自于孙逊等人对斯坦福大学深度学习教程UFLDL Tutorial的翻译，并在此基础上不断补充和修订。activation 激活值activation function 激活函数additive noise 加性噪声autoencoder 自编码

一、作用在有些机器学习程序中我们想要指定某些操作执行的依赖关系，这时我们可以使用tf.control_dependencies()来实现。 control_dependencies(control_inputs)返回一个控制依赖的上下文管理器，使用with关键字可以让在这个上下文环境中的操作都在control_inputs 执行。with g.control_dependencies(...

一、循环神经网络简介循环神经网络挖掘数据中的时序信息以及语义信息的深度表达能力，在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破。1、循环神经网络简介 循环神经网络的主要用途是处理和预测序列数据。循环神经网络的来源就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。也就是说，循环神经网络的隐藏层之间的结...

一、dropout目的 Dropout是在《ImageNet Classification with Deep Convolutional》这篇论文里提出来为了防止神经网络的过拟合。它的主要思想是让隐藏层的节点在每次迭代时(包括正向和反向传播)有一定几率(keep-prob)失效。这样来预防过拟合。它主要避免对某个节点的强依赖，让反向传播的修正值可以更加平衡的分布到各个参数上。还有如果一些节点失...

写这篇文章的起因是，有人问调用 outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后，last_state 和 outputs[-1] 相等吗？如果不想等，为什么会不等呢？其实这也是学习 RNN 的一大难点。我个人认为，学习 RNN 最难的地方就是弄明白它的输入和输出是什么。一个简单的回答是，对于一个 RNN 单元，它每次接受一个当前输...

1.梯度爆炸原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。 症状：观察输出日志中每次迭代的loss值，发现loss随着迭代有明显的增长，最后因为loss值太大以致于不能用浮点数去表示，所以变成NaN。 可采取的方法： 1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级。如果在你的模型中有多个loss层，就不能降低基础的学习率base_l...

麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)开发的基于机器学习的流媒体系统能更好的适应不同的网络条件，从而提供更加流畅的流媒体传输体验。 原文：http://news.mit.edu/2017/high-quality-online-video-with-less-rebuffering-pensieve-0814我们在YouTube上观看视频时常会遇到两件非常令人不悦的事情...

一、概述作为CVPR2017年的Best Paper, DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维,从特征的角度考虑,通过特征重用和旁路(Bypass)设置,既大幅度减少了网络的参数量,又在一定程度上缓解了gradient vanishing问题的产生.结合信息流和特征复用的假设,DenseNet当之无愧成为2017年计算机视...

多标签 V/S 多分类多类分类(Multiclass classification):表示分类任务中有多个类别, 比如对一堆水果图片分类, 它们可能是橘子、苹果、梨等. 多类分类是假设每个样本都被设置了一个且仅有一个标签: 一个水果可以是苹果或者梨, 但是同时不可能是两者每个实例仅分配一个类别使用softmax系列损失函数 softmax是张量中向量与向量间的运算。其中labels参...

导言聚类问题是机器学习中无监督学习的典型代表，在数据分析、模式识别的很多实际问题中得到了应用。在本文中，将为大家深入浅出的介绍聚类问题的定义以及各种典型的聚类算法，帮助大家建立对聚类算法最直观的、本质的概念。什么是聚类我们知道，分类问题是机器学习中最常见的一类问题，它的目标是确定一个物体所属的类别。例如，我们要判定一个水果是苹果、杏，还是桃。解决这类问题的办法是先给一些各种类型的水果让...

Tensorflow使用GPUTensorflow程序可以通过tf.device函数来指定运行每一个操作的设备，这个设备可以是本地CPU或GPU，也可以是某一台远程服务器。tf.device函数可以通过设备的名称来指定执行运算的设备。如CPU在tensorflow中的名称为/cpu:0。在默认情况下，即使机器有很多个CPU，tensorflow也不会区分它们，所有的CPU都使用/cpu:0...

数据预处理和特征选择是数据挖掘与机器学习中关注的重要问题，坊间常说：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。特征工程就是将原始数据转化为有用的特征，更好的表示预测模型处理的实际问题，提升对于未知数据的预测准确性。下图给出了特征工程包含的内容：本文数据预处理与特征选择的代码均采用sklearn所提供的方法，并使用sklearn中的IRIS（鸢尾花）数据集来对特征处理...

2018年6月14日，图鸭与论智联合举办了一场线上公开课深度学习之视频图像压缩。讲师为周雷博士，图鸭科技深度学习算法研究员。以下为论智整理的听课笔记。因水平有限，难免有错漏不当之处，仅供参考。传统图像与视频压缩技术首先，我们简单回顾下传统图像与视频压缩技术。JPEG以下为JPEG编解码流程示意图。 从上图我们可以看到，图像数据编码过程如下：离散余弦变换。简单来说，离...

1. 简介使用场景日志的严重程度由高到低LevelCRITICALERRORWARNINGINFODEBUGlogging默认的严重程度是WARNING，即在这个严重程度或以上的日志才会被记录。有两种常用的记录日志的方式：输出到终端import logginglogging.error('hello')记录到文件，也就是硬...

有用的资源下面的资源有助于你对 NLP 有一个更深入的了解。自然语言处理简单学——通过 SpaCy ( Python)：https://www.analyticsvidhya.com/blog/2017/04/natural-language-processing-made-easy-using-spacy-%E2%80%8Bin-python/终极指南：自然语言处理的理解与实现（附 Pyt...

解决方法：File->invalidate caches/restart选项，点击即可如果不行使用：右击Pychram中项目名->Mark Directory as ->Resource root

交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小，常见的Loss函数就是均方平均差（Mean Squared Error）,定义如下： 平方差很好理解，预测值与真实值直接相减，为了避免得到负数取绝对值或者平方，再做平均就是均方平方差。注意这里预测值需要经过sigmoid激活函数，得到取值范围在0到1之间的预测值。平方...

很多同学在学机器学习和深度学习的时候都有一个感受：所学的知识零散、不系统，缺乏整体感，这是普遍存在的一个问题。在这里，SIGAI对常用的机器学习和深度学习算法进行了总结，整理出它们之间的关系，以及每种算法的核心点，各种算法之间的比较。由此形成了一张算法地图，以帮助大家更好的理解和记忆这些算法。算法地图： 图的左半部分列出了常用的机器学习算法与它们之间的演化关系，分为有监督学习，无监督学习...

在数据挖掘中，K-Means算法是一种cluster analysis的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。问题K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法（Wikipedia链接）K-Means要解决的问题算法概

http://www.cnblogs.com/52machinelearning/p/5821591.html

1、THE MNIST DATABASEof handwritten digits：http://yann.lecun.com/exdb/mnist/index.html

超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR，主要是基于单张低分辨率的重建方法，即Single Image Super-Resolution (SISR)。SISR是一个逆问题，...

1 KNN算法1.1 KNN算法简介　　KNN（K-Nearest Neighbor）工作原理：存在一个样本数据集合，也称为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类对应的关系。输入没有标签的数据后，将新数据中的每个特征与样本集中数据对应的特征进行比较，提取出样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是...

原文链接：https://www.cnblogs.com/taojake-ML/p/6272605.html一、RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。如果 RNN 可以做到这个，他们就变得非常有用。但是真的可以么？答案是，还有很多依赖因素。 有时候，我们仅仅需要知道先前的信息来执行当前的任务。例如，我们有一个语言模型用...

原文链接：https://blog.youkuaiyun.com/helei001/article/details/51842531 在学习深度网络框架的过程中，我们发现一个问题，就是如何输出各层网络参数，用于更好地理解，调试和优化网络？针对这个问题，TensorFlow开发了一个特别有用的可视化工具包：TensorBoard，既可以显示网络结构，又可以显示训练和测试过程中各层参数的变化情况。本博文分为四个...

TensorFlow提供了通过变量名称来创建或获取一个变量的机制。通过这个机制，在不同函数中可以直接通过变量名字来使用变量，而不需要将变量通过参数的形式到处传递。TensorFlow通过变量名来获取变量的机制主要通过tf.get_variable、tf.variable_scope函数实现的。一、tf.get_variable1. 通过tf.get_variable函数创建一个变量...

global_step在滑动平均、优化器、指数衰减学习率等方面都有用到，这个变量的实际意义非常好理解：代表全局步数，比如在多少步该进行什么操作，现在神经网络训练到多少轮等等，类似于一个钟表。global_step经常在滑动平均，学习速率变化的时候需要用到，这个参数在tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, g...

Python中有join和os.path.join()两个函数，具体作用如下：join：连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串 os.path.join()： 将多个路径组合后返回一、函数说明1.join（）函数语法：‘sep’.join（seq）参数说明：sep：分隔符。可以为空seq：要连接的元素序列、字符串...

saver实例代码：import tensorflow as tfW = tf.Variable([[1,2,3],[3,4,5]], dtype=tf.float32, name='weights') b = tf.Variable([[1,2,3]], dtype=tf.float32, name='biases') init= tf.global_variables_in...

查看原文：http://www.sijitao.net/2000.html python中的命令行解析最简单最原始的方法是使用sys.argv来实现，更高级的可以使用argparse这个模块。argparse从python 2.7开始被加入到标准库中，所以如果你的python版本还在2.7以下，那么需要先手动安装。基本使用import argparse parser=argpars...

class tf.train.Saver保存和恢复变量最简单的保存和恢复模型的方法是使用tf.train.Saver 对象。构造器给graph 的所有变量，或是定义在列表里的变量，添加save 和 restore ops。saver 对象提供了方法来运行这些ops，定义检查点文件的读写路径。检查点是专门格式的二进制文件，将变量name 映射到 tensor value。检查checkp...

https://www.cnblogs.com/hejunlin1992/p/7624807.htmlhttps://blog.youkuaiyun.com/dcxhun3/article/details/46878999

tf.nn.conv2d是TensorFlow里面实现卷积的函数，参考文档对它的介绍并不是很详细，实际上这是搭建卷积神经网络比较核心的一个方法，非常重要tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None) 除去name参数用以指定该操作的name，与方法有关的一共五个参数：第一个参数...

一、原理 公式如下：y=γ(x−μ)/σ+βy=γ(x−μ)/σ+βy=\gamma(x- \mu)/\sigma+\beta其中xxx是输入，yyy是输出，μμ\mu是均值，σσ\sigma是方差，γγ\gamma和ββ\beta是缩放(scale)、偏移(offset)系数。 一般来讲，这些参数都是基于channel来做的，比如输入xxx是一个16x32x32x128(NWHC...