Deeplearning with Tensorflow
关注
分享
扫一扫
文章平均质量分 71
深度学习大神吴恩达最新视频教程DeeplearningAI学习笔记.
Tensorflow学习笔记等，主要讲解机器学习神经网络原理与机器学习系统开发经验.
武科大许志伟
武汉科技大学计算机科学与技术学院青年老师，中国仿真大会智能仿真优化与调度分委会委员。课题组中文官方网站：https://jaywayxu.github.io/zh-cn/
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
[DeeplearningAI笔记]序列模型3.3-3.5集束搜索
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.3 集束搜索Beam Search对于机器翻译来说，给定输入的句子，会返回一个随机的英语翻译结果，但是你想要一个最好的英语翻译结果。对于语音识别也是一样，给定一个输入的语音片段，你不会想要一个随机的文本翻译结果，你想要一个最接近愿意的翻译结果。Jane visite l’Afrique en...原创 2018-08-31 15:21:47 · 688 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.6Bleu得分/机器翻译得分指标
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.6Bleu得分在机器翻译中往往对应有多种翻译，而且同样好，此时怎样评估一个机器翻译系统是一个难题。 常见的解决方法是通过BLEU得分来进行判断评价机器翻译Evaluating machine translation Papineni K. Bleu:A Method for ...原创 2018-09-01 11:19:30 · 1487 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.7-3.8注意力模型
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.7注意力模型直观理解Attention model intuition长序列问题 The problem of long sequences对于给定的长序列的法语句子，在下图中的网络中，绿色的编码器读取整个句子，然后记忆整个句子，再在感知机中传递，紫色的解码神经网络将生成英文翻译。人...原创 2018-09-03 16:44:27 · 614 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.9-3.10语音辨识/CTC损失函数/触发字检测
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.9语音辨识 Speech recognition问题描述 对于音频片段(audio clip)x ,y生成文本(transcript)，人听见的或者麦克风捕捉的都是空气中细微的气压变化，语音识别系统能够根据这种微弱的气压变化将音频转化为文本字符。 将空气中微弱的气压变化显示成频率图的形式，并...原创 2018-09-03 21:32:55 · 1007 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.1基本的 Seq2Seq /image to Seq
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.1基础模型 [1] Sutskever I, Vinyals O, Le Q V. Sequence to Sequence Learning with Neural Networks[J]. 2014, 4:3104-3112. [2] Cho K, Van Merrienboer ...原创 2018-08-30 15:40:13 · 1185 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型3.2有条件的语言模型与贪心搜索的不可行性
5.3序列模型与注意力机制觉得有用的话,欢迎一起讨论相互学习~Follow Me3.2选择最可能的句子 Picking the most likely sentencecondition language model 有条件的语言模型 * 对于 语言模型 ，能够估计出这些单词是一个句子的可能性，也可以用其生成一个新的句子。 * 对于 机器翻译模型 使用绿色表示 编码...原创 2018-08-30 20:25:14 · 404 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.6Word2Vec/Skip-grams/hierarchical softmax classifier 分级softmax 分类器
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.6 Word2VecWord2Vec相对于原先介绍的词嵌入的方法来说更加的简单快速。 Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vector Space[J]. C...原创 2018-08-29 14:16:27 · 1048 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.7负采样Negative sampling
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.7 负采样 Negative sampling Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]// Intern...原创 2018-08-29 18:54:15 · 2502 阅读 · 5 评论 -
[DeeplearningAI笔记]序列模型2.8 GloVe词向量
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me2.8 GloVe word vectors GloVe词向量 Pennington J, Socher R, Manning C. Glove: Global Vectors for Word Representation[C]// Conference on Empirical Methods in...原创 2018-08-29 21:26:23 · 418 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.9情感分类
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me2.9 Sentiment classification 情感分类情感分类任务简单来说是看一段文本，然后分辨这个人是否喜欢或不喜欢他们正在谈论的这段文本。情感分类 一个最大的挑战是可能标记的训练集没有那么多，但是有了词嵌入，即使只有中等大小标记的训练集也能构建一个不错的情感分类器。问题引入...原创 2018-08-30 09:37:39 · 489 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.10词嵌入除偏
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me2.10词嵌入除偏 Debiasing word embeddings Bolukbasi T, Chang K W, Zou J, et al. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddi...原创 2018-08-30 10:59:53 · 699 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.5-1.6不同类型的循环神经网络/语言模型与序列生成
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.5不同类型的循环神经网络上节中介绍的是 具有相同长度输入序列和输出序列的循环神经网络，但是对于很多应用Tx和TyTx和TyT_{x}和T_{y}并不一定相等。 在此节会介绍不同的能够处理不同问题的循环神经网络。多对多循环神经网络对于命名实体识别的问题中，RNN的输出和输入序列长度一致...原创 2018-08-21 11:14:29 · 1023 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.7-1.9RNN对新序列采样/GRU门控循环神经网络
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.7对新序列采样基于词汇进行采样模型在训练完一个模型之后你想要知道模型学到了什么，一种非正式的方法就是进行一次新序列采样。 一个序列模型模拟了任意特定单词序列的概率，对新序列采样即是对概率分布进行采样来生成一个新的单词序列。假设你的RNN训练模型为: 对于新序列进行采样第一步即是对想要模...原创 2018-08-21 22:21:16 · 1767 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.10-1.12LSTM/BRNN/DeepRNN
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.10长短期记忆网络(Long short term memory)LSTM Hochreiter S, Schmidhuber J. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8):1735-1780.门控循环神经网络单元...原创 2018-08-27 20:15:51 · 1257 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.1-2.2词嵌入word embedding
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.1词汇表征 Word representation原先都是使用词汇表来表示词汇，并且使用1-hot编码的方式来表示词汇表中的词汇。 这种表示方法最大的缺点是 它把每个词孤立起来，这样使得算法对相关词的泛化能力不强例如：对于已知句子“I want a glass of orange _ ” 很可...原创 2018-08-28 11:15:45 · 481 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型2.3-2.5余弦相似度/嵌入矩阵/学习词嵌入
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me2.3词嵌入的特性 properties of word embedding Mikolov T, Yih W T, Zweig G. Linguistic regularities in continuous space word representations[J]. In HLT-NAACL, 2...原创 2018-08-28 20:04:38 · 1803 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络4.11一维和三维卷积
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me4.11一维和三维卷积二维和一维卷积 * 对于2D卷积来说，假设原始图像为14∗14∗314∗14∗314*14*3的三通道图像，使用32个5∗5∗35∗5∗35*5*3的卷积核(其中3表示通道数，一般只关注感受野的大小，而卷积核的深度大小与输入的通道数相同)进行卷积，则得...原创 2018-08-18 21:37:19 · 2581 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.1-1.2序列模型及其数学符号定义
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me5.1什么是序列模型在进行语音识别时，给定了一个输入音频片段X，并要求输出片段对应的文字记录Y，这个例子中的输入和输出都输序列数据。因为X是一个按时序播放的序列音频而输出Y是一系列单词。音乐生成使用的也是序列数据，在这个例子中只有输出数据Y是序列，而输入数据可以是空集也可以是个单...原创 2018-08-19 13:37:14 · 957 阅读 · 0 评论 -
[DeeplearningAI笔记]序列模型1.3-1.4循环神经网络原理与反向传播公式
5.1循环序列模型觉得有用的话,欢迎一起讨论相互学习~Follow Me1.3循环神经网络模型为什么不使用标准的神经网络假如将九个单词组成的序列作为输入，通过普通的神经网网络输出输出序列， 在不同的例子中输入数据和输出数据具有不同的长度，即每个数据不会有一样的长度 也许每个语句都有最大长度，能够通过Padding 的方式填充数据，但总体来说不是一个好的表达方式。...原创 2018-08-20 17:00:13 · 376 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络4.1-4.5 人脸识别/one-shot learning/Siamase网络/Triplet损失/将面部识别转化为二分类问题
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me4.1什么是人脸识别Face verification人脸验证 VS face recognition人脸识别Face verification人脸验证人脸验证 输入是一张图片，以及人的姓名或者ID作为标签输出是这张输入的图片是否是这个确定的人这时候也被称为1...原创 2018-08-16 21:47:33 · 791 阅读 · 1 评论 -
[DeeplearningAI笔记]卷积神经网络4.6-4.10神经网络风格迁移
4.4特殊应用:人脸识别和神经网络风格转换觉得有用的话,欢迎一起讨论相互学习~Follow Me4.6什么是神经网络风格转换neural style transfer将原图片作为内容图片Content，风格图片Style，生成的图片用Generated image 表示。 4.7深度卷积神经网络在学什么What are deep ConvNets lear...原创 2018-08-18 20:51:42 · 729 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络2.9-2.10迁移学习与数据增强
4.2深度卷积网络觉得有用的话,欢迎一起讨论相互学习~Follow Me2.9迁移学习迁移学习的基础知识已经介绍过，本篇博文将介绍提高的部分。提高迁移学习的速度可以将迁移学习模型冻结的部分看做为一个函数，因为每次都要使用这个冻结模型的输出值来训练自己的网络层，这样从加载模型到预训练模型都会耗费一定的时间。为此，可以将目标训练集通过冻结模型的输出保存到本地，作为新...原创 2018-07-25 21:38:43 · 935 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络3.1-3.5目标定位/特征点检测/目标检测/滑动窗口的卷积神经网络实现/YOLO算法
4.3目标检测觉得有用的话,欢迎一起讨论相互学习~Follow Me3.1目标定位对象定位localization和目标检测detection判断图像中的对象是不是汽车–Image classification 图像分类不仅要判断图片中的物体还要在图片中标记出它的位置–Classification with localization定位分类当图片中有 多个 对象时...原创 2018-08-13 21:14:40 · 9647 阅读 · 1 评论 -
[DeeplearningAI笔记]卷积神经网络3.6-3.9交并比/非极大值抑制/Anchor boxes/YOLO算法
4.3目标检测觉得有用的话,欢迎一起讨论相互学习~Follow Me3.6交并比intersection over union交并比函数(loU)可以用来评价对象检测算法，可以被用来进一步改善对象检测算法的性能。如何评价一个算法的好坏，即如图中假设红色框线表示 真实的对象所在边界框，紫色框线表示 模型预测的对象所在边界框.通过计算两个边界框交集和并集的比用于评价对象检测算法...原创 2018-08-14 15:50:02 · 3159 阅读 · 1 评论 -
[DeeplearningAI笔记]卷积神经网络3.10候选区域region proposals与R-CNN
4.3目标检测觉得有用的话,欢迎一起讨论相互学习~Follow Me3.10 region proposals候选区域与R-CNN基于滑动窗口的目标检测算法将原始图片分割成小的样本图片，并传入分类器进行检测。基于卷积神经网络的滑动窗口目标检测方法把原始图像分割成小的网格，并分别在网格中检测是否有目标对象。有人提出在基于普通滑动的目标检测方法中有很多小的样本图片中是空的是没...原创 2018-08-14 17:25:29 · 1273 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络2.5-2.7 Network in Network/1*1卷积/Inception网络/GoogleNet
4.2深度卷积网络觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 Inception网络 –Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[J]. 2014:1-9.2.5网络中的网络与1*1卷积Network in Network在架构内容设计方面，一个比...原创 2018-07-25 16:25:54 · 920 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络1.2-1.3边缘检测
4.1卷积神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me1.2边缘检测示例边缘检测可以视为横向边缘检测和纵向边缘检测如下图所示:边缘检测的原理是通过一个特定构造的卷积核对原始图片进行卷积操作后得到一个特征图，这个特征图恰好能反应图像的边缘。例如：假设下图中越大的像素值对应的颜色越浅而越小的像素值对应的颜色越深。则一张如左图所示的6∗66∗66*6...原创 2018-07-19 19:03:26 · 3971 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络1.4-1.5Padding与卷积步长
4.1卷积神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me1.4Padding一张6∗66∗66*6大小的图片，使用3∗33∗33*3的卷积核设定步长为1，经过卷积操作后得到一个4∗44∗44*4的图像。特征图大小公式设定原始图像大小为n∗nn∗nn*n,卷积核大小为f∗ff∗ff*f，则经过卷积操作后特征图大小为(n−f+1)∗(n−f+1)(...原创 2018-07-19 20:45:10 · 1052 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络1.6-1.7构造多通道卷积神经网络
4.1卷积神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me1.6多通道卷积原理 * 对于一个多通道的卷积操作，可以将卷积核设置为一个立方体，则其从左上角开始向右移动然后向下移动，这里设置Padding模式为VALID，步长为1. * 注意:卷积核中的颜色通道数必须与原始图像的颜色通道数一致。 * 如果想要只对红色通道有用的垂直边界，则设置卷积核为...原创 2018-07-23 19:17:24 · 3076 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络1.9-1.11池化层/卷积神经网络示例/优点
4.1卷积神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me1.9池化层优点池化层可以缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。池化层操作池化操作与卷积操作类似，但是池化操作是保留池化窗口在扫过原始图像中时的最大值。注意:每个信道都在其单独的信道中执行池化操作。 其维度公式也满足公式: ⌊(n+2p−f)s+1⌋∗⌊(n...原创 2018-07-23 20:53:05 · 460 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络2.2经典网络
4.2深度卷积网络觉得有用的话,欢迎一起讨论相互学习~Follow Me2.2经典网络LeNet-5LeNet针对的是单通道的灰度图像原始图像为32∗32∗132∗32∗132*32*1的单通道灰度图像第一层使用的是6个5∗56个5∗56个5*5的卷积核，步长为1，Padding 为0，图像尺寸缩小到28∗2828∗2828*28接着使用池化窗口为2∗22∗22...原创 2018-07-24 16:32:26 · 519 阅读 · 0 评论 -
[DeeplearningAI笔记]卷积神经网络2.3-2.4深度残差网络
4.2深度卷积网络觉得有用的话,欢迎一起讨论相互学习~Follow Me2.3残差网络Residual Networks(ResNets)非常非常深的网络是很难训练的，因为存在梯度消失和梯度爆炸的问题。使用跳远连接(skip connections) 它可以从某一网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层，可以利用跳远连接构建能够训练深度网络的ResNe...原创 2018-07-24 21:50:25 · 1018 阅读 · 0 评论 -
Tensorboard监控指标可视化
Tensorflow监控指标可视化觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 强烈推荐Tensorflow实战Google深度学习框架 实验平台: Tensorflow1.4.0 python3.5.0Tensorflow命名空间与计算图可视化介绍了通过TensorBoard的GRAPHS可视化TensorFlow计算图的结构以及在...原创 2018-07-18 10:27:15 · 4290 阅读 · 2 评论 -
Tensorboard高维向量可视化
Tensorflow高维向量可视化觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 强烈推荐Tensorflow实战Google深度学习框架 实验平台: Tensorflow1.4.0 python3.5.0 MNIST数据集将四个文件下载后放到当前目录下的MNIST_data文件夹下高维向量表示为了更加直观的了解emb...原创 2018-07-18 16:03:39 · 7706 阅读 · 0 评论 -
Tensorboard显示计算图节点信息
Tensorboard显示计算图节点信息觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 强烈推荐Tensorflow实战Google深度学习框架 实验平台: Tensorflow1.4.0 python3.5.0TensorFlow不仅可以展示计算图的结构,还可以展示TensorFlow 计算图上每个节点的基本信息以及运行时消耗的时...原创 2018-07-17 15:19:36 · 3768 阅读 · 1 评论 -
Tensorflow命名空间与计算图可视化
Tensorflow命名空间与计算图可视化觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 参考文献Tensorflow实战Google深度学习框架 实验平台: Tensorflow1.4.0 python3.5.0Tensorflow可视化得到的图并不仅是将Tensorflow计算图中的节点和边直接可视化，它会根据每个Tensorf...原创 2018-07-16 21:10:23 · 1360 阅读 · 0 评论 -
随机切分csv训练集和测试集
使用numpy切分训练集和测试集觉得有用的话,欢迎一起讨论相互学习~Follow Me序言在机器学习的任务中，时常需要将一个完整的数据集切分为训练集和测试集。此处我们使用numpy完成这个任务。 iris数据集中有150条数据，我们将120条数据整合为训练集，将30条数据整合为测试集。iris.csv程序import csvimport osimp...原创 2018-07-15 14:03:07 · 7857 阅读 · 3 评论 -
Tensorflow BatchNormalization详解：1_原理及细节
Batch Normalization: 原理及细节觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 吴恩达deeplearningai课程 课程笔记 Udacity课程为了标准化这些值，我们首先需要计算出批数据中的平均值，如果你仔细看这些代码，你会发现这不是对输入的批数据计算平均值，而是对任意一个特定层的在传入非线性函数之前的输出求平均值。...原创 2018-07-15 16:00:00 · 1519 阅读 · 0 评论 -
Tensorflow BatchNormalization详解：2_使用tf.layers高级函数来构建神经网络
Batch Normalization: 使用tf.layers高级函数来构建神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 吴恩达deeplearningai课程 课程笔记 Udacity课程# Batch Normalization – Solutions# Batch Normalization 解决方案"""批量标...原创 2018-07-15 19:23:47 · 3290 阅读 · 0 评论 -
Tensorflow BatchNormalization详解：3_使用tf.layers高级函数来构建带有BatchNormalization的神经网络
Batch Normalization：使用tf.layers高级函数来构建带有Batch Normalization的神经网络觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 吴恩达deeplearningai课程 课程笔记 Udacity课程Tensorflow在使用tf.layers高级函数来构建神经网络中我们使用了tf.layer...原创 2018-07-15 19:59:41 · 9432 阅读 · 6 评论