Deep Learning
关注
分享
扫一扫
AcceptedLin
ACC
展开
-
深度学习的局部响应归一化LRN(Local Response Normalization)
深度学习的局部响应归一化LRN(Local Response Normalization)这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。 AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid...转载 2020-09-24 14:40:30 · 5887 阅读 · 0 评论 -
Tensorflow之负采样函数Sampled softmax loss
Tensorflow之负采样函数Sampled softmax loss谷歌16年出的论文《Deep Neural Networks for Youtube Recommendation》中提到文章采用了负采样的思想来进行extreme multiclass分类任务我的tensorflow实现已上传优快云资源https://download.youkuaiyun.com/download/weixin_41864878/11107472Tensorflow提供了两种负采样，分别是NCE l...转载 2020-09-22 17:30:42 · 1554 阅读 · 1 评论 -
用python实现对图像的卷积(滤波)
用python实现对图像的卷积(滤波)之前在看卷积神经网络，很好奇卷积到底是什么，最后看到了这篇文章http://blog.youkuaiyun.com/zouxy09/article/details/49080029，讲得很清楚，这篇文章中提到了对图像的滤波处理就是对图像应用一个小小的卷积核，并给出了以下例子：对图像的卷积，opencv已经有实现的函数filter2D，注意，卷积核需要是奇数行，奇数列，这样才能有一个中心点。opencv卷积...转载 2020-09-22 14:40:31 · 1502 阅读 · 0 评论 -
tf.nn.embedding_lookup_sparse函数
tf.nn.embedding_lookup_sparse函数tf.nn.embedding_lookup_sparse函数定义：tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, partition_strategy='mod', name=None, combiner=None, max_norm=None)计算给定 id 和 w...转载 2020-07-21 16:13:02 · 679 阅读 · 0 评论 -
embedding lookup函数
embedding lookup函数1.embeddingembedding现在在推荐系统、ctr预估系统中的使用无处不在。简单来理解就是，对于各种高维稀疏的特征，工作将单个特征映射成为一个低维稠密向量，将高维稀疏特征由"精确匹配"变成一个在embedding向量上的"模糊匹配"，从而提高了算法的性能，将高维稀疏特征的可用性大大提高。2.lookupembedding lookup本质上是用矩阵的乘法来实现的，可以将其看成一个特殊...转载 2020-07-21 15:57:41 · 1198 阅读 · 0 评论 -
小白都能看懂的softmax详解
小白都能看懂的softmax详解1.softmax初探在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中...转载 2020-03-04 20:08:25 · 461 阅读 · 0 评论 -
Tensorflow： AUC的错误/问题与修正
Tensorflow： AUC的错误/问题与修正AUC是评价模型的常用指标，Tensorflow作为著名的机器学习框架，自然有对这一指标的计算API，其官网API文档为AUC。问题但是，这一API不是很好用，在此举一个很简单的例子：import tensorflow as tfx_1 = [0.1, 0.2, 0.3, 0.4, ...转载 2020-03-04 20:05:10 · 1448 阅读 · 1 评论 -
TensorFlow增加变量显示+tensorboard可视化
TensorFlow增加变量显示+tensorboard可视化#加名空间：with.tf.variable_scope(“name”):a = tf.Variable(initial_value=50)# 初始化变量tf.global_variables_initializer().run()#收集变量：tf.summary.scalar(name=...转载 2020-03-03 14:43:59 · 20273 阅读 · 0 评论 -
TensorFlow模型保存与恢复
TensorFlow模型保存与恢复一般模型保存后产生四个文件，分别是：|--models| |--checkpoint| |--.meta| |--.data| |--.index.meta保存的是图的结构checkpoint文件是个文本文件，里面记录了保存的最新的checkpoint文件以及其它chec...转载 2020-03-03 14:38:57 · 14619 阅读 · 0 评论 -
机器学习算法评价指标之group auc（gauc）
机器学习算法评价指标之group auc（gauc）在机器学习算法中，很多情况我们都是把auc当成最常用的一个评价指标，而auc反映整体样本间的排序能力，但是有时候auc这个指标可能并不能完全说明问题，有可能auc并不能真正反映模型的好坏，以CTR预估算法(推荐算法一般把这个作为一个很重要的指标)为例，把用户点击的样本当作正样本，没有点击的样本当作...转载 2020-02-10 14:10:51 · 472 阅读 · 0 评论 -
tensorflow中embedding_lookup, tf.gather以及tf.nn.embedding_lookup_sparse的理解
tensorflow中embedding_lookup, tf.gather以及 tf.nn.embedding_lookup_sparse的理解1. tf.nn.embedding_lookup()embedding_lookup( params, ids, ...转载 2020-01-25 16:59:26 · 572 阅读 · 0 评论 -
tensorflow训练使用GPU和CPU的不同指定方法
tensorflow训练使用GPU和CPU的不同指定方法1.tensorflow如何指定使用CPU跑，并指定使用的CPU个数cpu_num=10#指定使用的CPU个数config = tf.ConfigProto(device_count={"CPU": cpu_num}, inter_op_parallelism_threads =...转载 2020-01-25 16:41:45 · 1152 阅读 · 0 评论 -
gpu安装环境解决 ImportError: libcublas.so.9.0: cannot open shared object file: No such file
gpu安装环境解决 ImportError: libcublas.so.9.0: cannot open shared object file: No such file目录gpu安装环境解决 ImportError: libcublas.so.9.0: cannot open shared object file: No such file本方法可以解决类似：ImportError:...转载 2020-01-25 16:32:07 · 441 阅读 · 0 评论 -
图像语义分割的前世今生
图像语义分割的前世今生 1998年以来，人工神经网络识别技术已经引起了广泛的关注，并且应用于图像分割。基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。这种方法需要大量的训练数据。神经网络存在巨量的连接，容易引入空间信息，能较好地解决图像中的噪声和不均匀问题。选择何种网络结构是...转载 2019-01-17 18:18:30 · 946 阅读 · 0 评论 -
Transformer模型进阶-GPT模型和Bert模型
Transformer模型进阶-GPT模型和Bert模型OpenAI GPT模型原理与架构原文[Improving Language Understanding by Generative Pre-Training]OpenAI Transformer是一类可迁移到多种NLP任务的，基于Transformer的语言模型，其利用Tran...转载 2019-03-30 14:55:57 · 14194 阅读 · 0 评论 -
深度学习：transformer模型
深度学习：transformer模型Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合c...转载 2019-03-30 15:23:21 · 848 阅读 · 0 评论 -
《Deep Neural Networks for YouTube Recommendation》译读
《Deep Neural Networks for YouTube Recommendation》译读摘要youtube 代表了目前规模最大、最复杂的工业推荐系统之一。在这篇文章里，我们从系统的角度上重点讲述深度学习带来的巨大效果提升。根据经典的信息检索二分法，本文分为2阶段：首先，我们详细描述了一个候选集生成模型和一个深度排序模型。然后，我们还提供了一些从设计、迭代和维护庞大用户...转载 2019-04-09 13:18:16 · 3685 阅读 · 0 评论 -
【推荐系统】重要会议和期刊
【推荐系统】重要会议和期刊1.ACM SIGKDD数据挖掘及知识发现会议ACM SIGKDD(Special Interest Group on KnowledgeDiscovery and Data Mining)国际会议是由ACM的数据挖掘及知识发现专委会主办的数据挖掘领域的顶级年会。它涵盖了特邀主题...转载 2019-04-23 14:17:16 · 2105 阅读 · 0 评论 -
Mahout学习
Mahout学习Mahout学习（主要学习内容是Mahout中推荐部分的ItemCF、UserCF、Hadoop集群部署运行）1、Mahout是什么？Mahout是一个算法库,集成了很多算法。ApacheMahout是ApacheSoftwareFoundation（A...转载 2019-04-23 14:31:18 · 821 阅读 · 0 评论 -
一张贴纸欺骗AI，对抗性补丁让人类隐身
一张贴纸欺骗AI，对抗性补丁让人类隐身Fooling automated surveillance cameras: adversarial patches to attack person detection最新研究发现，只要一张打印出来的贴纸，就能“欺骗”AI系统，让最先进的检测系统也无法看到眼前活生生的人。该研...转载 2019-04-24 15:30:34 · 5191 阅读 · 0 评论 -
CNN 中， 1X1卷积核的作用
CNN 中， 1X1卷积核的作用从NIN 到Googlenet mrsa net 都是用了这个，为什么呢发现很多网络使用了1X1卷积核，这能起到什么作用呢？另外我一直觉得，1X1卷积核就是对输入的一个比例缩放，因为1X1卷积核只有一个参数，这个核在输入上滑动，就相当于给输入数据乘以一个系数。不知道我理解的是否正确。我来说说我的理...转载 2019-04-24 15:57:58 · 5886 阅读 · 0 评论 -
Embedding之理解GloVe模型学习资源
Embedding之理解GloVe模型学习资源参考：https://blog.youkuaiyun.com/u014665013/article/details/79642083相对照CBOW和skip-ngram学习Glove和skip-gram、CBOW模型对比Cbow/Skip-Gram 是一个local context window的方法，比如使用N...转载 2019-10-05 13:06:34 · 659 阅读 · 0 评论 -
TensorFlow Serving入门
TensorFlow Serving入门大家习惯使用TensorFlow进行模型的训练、验证和预测，但模型完善之后的生产上线流程，就变得五花八门了。针对这种情况Google提供了TensorFlow Servering，可以将训练好的模型直接上线并提供服务。在2017年的TensorFlow开发者Summit上便提出了TensorFlo...转载 2019-02-21 12:16:26 · 402 阅读 · 0 评论 -
Attentation-GAN for super-resolution(ASRGAN )
Attenatation-GAN for super-resolution(ASRGAN)1 简单介绍： 目前的SR方法解决的都是小尺寸的数据小于500px，本文提出的是针对大尺寸的数据比如大于2000px的商业数据。本文的创新之处：提出一种新奇的使用注意力机制的SRGAN方法，叫做A-SRGAN,他是吸收了SAGAN的思想，然后哩由于处理的是大尺度的数据，所以...转载 2019-02-21 10:35:41 · 860 阅读 · 0 评论 -
图像降噪算法总结
图像降噪算法总结图像降噪，是最简单也是最基础的图像处理逆问题（inverse problem）。大多数情况下，图像降噪都是ill-posed的问题。因为通过有噪音的观察，总是无法逆向求得唯一正确的干净图片。就好像让你解一个超越方程一样，不借助其他额外的条件信息，是没有唯一解的。降噪问题（这里只讨论additive...转载 2019-02-26 14:43:11 · 10055 阅读 · 1 评论 -
TensorFlow 模型的保存与恢复
TensorFlow 模型的保存与恢复TensorFlow目前保存的模型文件主要有两种，ckpt与pb，二者之间的异同请见https://zhuanlan.zhihu.com/p/32887066CKPT，首先这种模型文件是依赖 TensorFlow 的，只能在其框架下使用；其次，在恢复模型之前还需要再定义一遍网络结构，然后才能把变量的值恢...转载 2019-01-08 15:51:28 · 941 阅读 · 0 评论 -
斯坦福CS20 TensorFlow学习笔记(2)：TensorFlow Ops
斯坦福CS20 TensorFlow学习笔记(2)：TensorFlow Ops上一节我们介绍了graph、tensor和session，这一节主要介绍operation。主要内容有：TensorBoard的基本用法 Basic operations Tensor types Importing data Lazy loading1- Visualize it wi...转载 2019-01-03 14:22:19 · 544 阅读 · 0 评论 -
斯坦福CS20 TensorFlow学习笔记(1)：Overview of Tensorflow
斯坦福CS20 TensorFlow学习笔记(1)：Overview of Tensorflow1- TensorFlow是什么？Google官方的介绍是：TensorFlow™ is an open source software library for high performance numerical computation.TensorFlow最早起源于Go...转载 2019-01-03 14:19:08 · 471 阅读 · 0 评论 -
Difference between ReLU、LReLU、PReLU、CReLU、ELU、SELU
Difference between ReLU、LReLU、PReLU、CReLU、ELU、SELU激活函数 ReLU、LReLU、PReLU、CReLU、ELU、SELU 的定义和区别ReLUtensorflow中：tf.nn.relu(features, name=None)RELU的优点即计算特别简单，高度非线性，但是RELU的缺点也很明显：因为其将所有的输入负数变...转载 2019-01-03 14:11:55 · 3347 阅读 · 0 评论 -
GAN系列学习——前生今世
GAN系列学习——前生今世1.GAN的 ‘前世’？大家都知道GAN是Ian Goodfellow 2 014年放出的一篇开山之作，在深度学习界评价很高，可以说GAN的出现，给深度学习界带来了很多的研究(shui)课(lun)题(wen)。但是如果说GAN是另外一种网络的变种，不知道你是否相信呢？但是有一个人是坚信不疑的，这个人就是德国AI科学...转载 2019-01-02 13:52:02 · 14337 阅读 · 0 评论 -
Linux下安装TensorFlow等深度学习库
Linux下安装TensorFlow等深度学习库1. 介绍主要参考： [1] Tensorflow官网Tutorials [2] 极客学院对Tensorflow官网教程的翻译官方提供了5种安装tensorflow的方法:Pip install: Install TensorFlow on your machine, possibly upgra...转载 2018-12-27 17:56:27 · 1439 阅读 · 0 评论 -
GPU ID 和显存占用设定
GPU ID 和显存占用设定Keras - GPU ID 和显存占用设定初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的两张 1080Ti.服务器上的多张 GPU 都占满, 有点浪费性能....转载 2018-11-27 20:03:13 · 2541 阅读 · 0 评论 -
从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程
从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程超分辨率技术（Super-Resolution, SR）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。本文针对端到端的基于深度学习的单张图像超分辨率方法(Single Image Super-Resolution, SISR)，总结一下从SRCNN到EDSR的发展历程。(排列...转载 2018-11-21 18:45:30 · 1542 阅读 · 0 评论 -
Gated Recurrent Unit (GRU)
Gated Recurrent Unit (GRU) Outline Background GRU Network GRU vs. LSTM Experim...原创 2018-07-20 11:12:34 · 3465 阅读 · 0 评论 -
基于空间特征调制的图像超分辨率
基于空间特征调制的图像超分辨率论文：Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform作者：Xintao Wang, Ke Yu, Chao Dong, Chen Change Loy论文链接：arxiv.org/abs/1804.02...转载 2019-01-24 16:56:28 · 2070 阅读 · 0 评论 -
One-Hot Encoding
One-Hot Encoding1 .One-Hot Encoding One-Hot编码，又称为一位有效编码，主要是采用位状态寄存器来对个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。 在实际的机器学习的应用任务中，特征有时候并不总是连续值，有可能是一些分类值，如性别可分为“m...转载 2019-01-09 18:11:38 · 138 阅读 · 0 评论 -
TensorFLow从文件读取图片的四种方式
TensorFLow从文件读取图片的四种方式本文记录一下TensorFLow的几种图片读取方法，官方文档有较为全面的介绍。1.使用gfile读图片，decode输出是Tensor，eval后是ndarrayimport matplotlib.pyplot as pltimport tensorflow as tfimport numpy as np ...转载 2019-01-16 17:05:17 · 2958 阅读 · 0 评论 -
Convolutional layers/Pooling layers/Dense Layer 卷积层/池化层/稠密层
Convolutional layers/Pooling layers/Dense Layer 卷积层/池化层/稠密层Convolutional layers 卷积层Convolutional layers, which apply a specified number of convolution filters to the image. For each subregion, the...转载 2019-02-20 10:39:07 · 18081 阅读 · 0 评论 -
Word Embedding的发展和原理
Word Embedding的发展和原理文本处理是NLP领域的一个重要分支，其细分领域又包括文本聚类、分类、机器翻译、人机交互等等，而这一切的前提都是将文本表示成计算机可以理解和易于处理的数据。经过成千上万年的进化，人类的语言本身变得十分抽象和复杂，要搞懂一段文字，那么要理解词本身的意义、语义关系、上下文关系（苹果好吃/苹果公司），如何将文字用计算机...转载 2019-02-25 12:21:00 · 3180 阅读 · 1 评论 -
深度学习网络调参技巧
深度学习网络调参技巧本文转载自【炼丹实验室】，讲了一些深度学习训练的技巧，其中包含了部分调参心得：深度学习训练心得。不过由于一般深度学习实验，相比普通机器学习任务，时间较长，因此调参技巧就显得尤为重要。同时个人实践中，又有一些新的调参心得，因此这里单独写一篇文章，谈一下自己对深度学习调参的理解，大家如果有其他技巧，也欢迎多多交流。好的...转载 2019-02-14 10:46:29 · 2089 阅读 · 0 评论