csdn_xmj的博客

01 神经网络和深度学习（Neural Networks and Deep Learning）1-1 深度学习概论主要介绍：主要对深度学习进行了简要概述。首先，我们使用房价预测的例子来建立最简单的单个神经元组成的神经网络模型。然后，我们将例子复杂化，建立标准的神经网络模型结构。接着，我们从监督式学习入手，介绍了不同的神经网络类型，包括Standard NN，CNN和RNN。不同的神经网络模型适合处理不同类型的问题。对数据集本身来说，分为结构化数据和非结构化数据。近些年来，深度学习对非结构化数据的处理

来源：Coursera吴恩达深度学习课程作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。【人工智能行业大师访谈4】吴恩达采访Ruslan Salakhutdinov。接下来，采访林元庆，文章末尾有总结。吴恩达：欢迎你，Rus，很高兴今天你能接受采访。Rus：谢谢你，谢谢你，.

来源：Coursera吴恩达深度学习课程作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。【人工智能行业大师访谈5】吴恩达采访林元庆。接下来，采访Andrej Karpathy，文章末尾有总结。吴恩达：欢迎Andrej，今天你能来我很高兴。Andrej：是的，谢谢你的采访.

来源：Coursera吴恩达深度学习课程作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。【人工智能行业大师访谈4】吴恩达采访Yoshua Bengio。接下来，采访林元庆，文章末尾有总结。吴恩达：欢迎你，元庆，今天你能参与我们的活动，我真的很高兴。林元庆：没问题。..

来源：Coursera吴恩达深度学习课程作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。【人工智能行业大师访谈3】吴恩达采访 Ian Goodfellow。接下来，采访 Yoshua Bengio，文章末尾有总结。吴恩达：Yoshua你好，很高兴您能参加我们的访谈活动。..

来源：Coursera吴恩达深度学习课程作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。【人工智能行业大师访谈2】吴恩达采访 Pieter Abbeel很荣幸采访了Pieter Abbeel。接下来，采访 Ian Goodfellow，文章末尾有总结。吴恩达：嗨，Ian，感.

来源：Coursera吴恩达深度学习课程作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。作为这个采访的开头，很荣幸先展示Geoffrey Hinton的采访视频【人工智能行业大师访谈1】吴恩达采访 Geoffery Hinton。接下来，采访 Pieter Abbeel，文章末尾有.

来源：Coursera吴恩达深度学习课程作为deeplearning.ai课程的一部分，Andrew希望除了教授技术理念之外，同时介绍一些深度学习的先驱给大家认识。在这个视频中，Andrew也希望问问这些先驱们，能不能给一些工作上的建议，关于如何入门深度学习，如何做课题研究或者如何在深度学习领域找一份工作。作为这个采访的开头，很荣幸先展示Geoffrey Hinton的采访视频。吴恩达：欢迎你Geoff，在此非常感谢您接受deeplearning.ai的采访。Geoffrey Hinton：谢谢

上一周的课程5-2 Coursera吴恩达《序列模型》 第二周课程笔记-自然语言处理和词嵌入介绍了自然语言处理相关内容，例如词汇表征、词嵌入、嵌入矩阵和负采样等概念，以及Word2Vec和GloVe算法。本周的课程接着介绍序列模型和注意力机制的相关知识，让我们开始吧。《3.1 序列结构的各种序列》Various sequence to sequence architectures欢迎来到本次课程的最后一周的内容，同时这也是五门深度学习课程的最后一门，你即将抵达本课程的终点。seq2seq（seq

来源：Coursera吴恩达深度学习课程随着语音识别的发展，越来越多的设备可以通过你的声音来唤醒，这有时被叫做触发字检测系统（rigger word detection systems）。我们来看一看如何建立一个触发字系统。触发字系统的例子包括Amazon echo，它通过单词Alexa唤醒；还有百度DuerOS设备，通过"小度你好"来唤醒；苹果的Siri用Hey Siri来唤醒；Google Home使用Okay Google来唤醒，这就是触发字检测系统。假如你在卧室中，有一台Amazon e

来源：Coursera吴恩达深度学习课程现今，最令人振奋的发展之一就是seq2seq模型（sequence-to-sequence models）在语音识别（speech recognition）方面准确性有了很大的提升。我们来看看seq2seq模型是如何应用于音频数据（audio data）的，比如语音（the speech）。什么是语音识别问题呢？有一个音频片段（audio clip）x，任务是自动地生成文本（transcript）y。一个音频片段，画出来是这样（横轴是时间）。一个麦克风的作

来源：Coursera吴恩达深度学习课程在注意力模型直观理解中我们看到注意力模型如何让一个神经网络只注意到一部分的输入句子。当它在生成句子的时候，更像人类翻译。让我们把这些想法转化成确切的式子，来实现注意力模型（Attention Model）。如上图所示，我们先假定有一个输入句子，并使用双向的RNN（bidirectional RNN），或者双向的GRU或者双向的LSTM，去计算每个词的特征（features）。实际上GRU和LSTM经常应用于这个，可能LSTM更经常一点。对于前向传播（for

来源：Coursera吴恩达深度学习课程本周的课程我们都在使用这个编码解码的构架（a Encoder-Decoder architecture）来完成机器翻译。当你使用RNN读一个句子，于是另一个会输出一个句子。注意力模型（the Attention Model）会使它工作得更好。注意力这种思想（the attention idea）已经是深度学习中最重要的思想之一，我们看看它是怎么运作的。假设有一个很长的法语句子，绿色的编码器读取并记忆整个句子，然后在感知机中传递（to read in the

来源：Coursera吴恩达深度学习课程机器翻译（machine translation）的一大难题是一个法语句子可以有多种英文翻译而且都同样好，所以当有多个同样好的答案时，怎样评估一个机器翻译系统呢？图像识别（image recognition）只有一个正确答案，测量准确性（measure accuracy）就可以。如果有多个不错的答案，要怎样衡量准确性呢? 常见的解决办法是，通过一个叫做BLEU得分（the BLEU score）的东西来解决。接着让我们了解BLEU得分是怎样工作的。假如有一

来源：Coursera吴恩达深度学习课程回忆一下，在这五门课中的第三门课3-2 Coursera吴恩达《构建机器学习项目》 第二周课程笔记-机器学习策略（2）中，我们讲解了误差分析是如何能够帮助集中时间做项目中最有用的工作，束搜索算法（beam search）是一种近似搜索算法（an approximate search algorithm），也被称作启发式搜索算法（a heuristic search algorithm），它不总是输出可能性最大的句子，它仅记录着B为前3或者10或是100种可能。那么

来源：Coursera吴恩达深度学习课程上篇文章介绍了基本的集束搜索（Beam Search），这篇文章我们进一步学习一些技巧，能够使算法运行的更好。如上图，长度归一化（Length normalization）就是对束搜索算法稍作调整的一种方式，帮助你得到更好的结果，下面介绍一下它。束搜索就是最大化这个概率：这个乘积也可以表示为如下形式：这就是乘积概率（the product probabilities）。这些概率值通常远小于1。很多小于1的数乘起来，会得到很小很小的数字，

来源：Coursera吴恩达深度学习课程我们来看看集束搜索（beam search）算法，上篇文章选择最可能的句子讲了对于机器翻译来说，给定输入（法语句子），我们并不想要一个随机的英语翻译结果，而是想要一个最好的，最可能的英语翻译结果。对于语音识别也一样，给定一个输入的语音片段，我们不会想要一个随机的文本翻译结果，而是想要最接近原意的翻译结果，集束搜索就是解决这个最常用的算法。让我们用法语句子的例子来试一下集束搜索吧。“Jane visite l'Afrique en Septembre.”（法

来源：Coursera吴恩达深度学习课程seq2seq机器翻译模型和我们在之前学习的语言模型之间有很多相似的地方，但是它们之间也有许多重要的区别，让我们来具体看看。如上图第一行，这是一个条件语言模型（conditional language model），这个模型可以估计句子的可能性，这就是语言模型所做的事情。也可以将它来生成一个新的句子，输入x^<1>和x^<2>，那么在该例中x^<2>= y^<1>，但是x^<1>和x^<2.

来源：Coursera吴恩达深度学习课程seq2seq（sequence to sequence）模型在深度学习的应用中起到不错的作用，我们具体来看看。如上图所示，比如你想通过输入一个法语句子，比如这句 “Jane visite I'Afrique en septembre.”，将它翻译成一个英语句子，“Jane is visiting Africa in September.”。和之前一样，我们用x^<1>一直到x^<5>来表示输入的句子的单词，然后我们用y^<1

上一篇文章5-1 Coursera吴恩达《序列模型》 第一周课程笔记-循环序列网络(RNN)我们主要介绍了循环神经网络（RNN）的基本概念、模型和具体应用。欢迎来到第二周，今天开始《序列模型》第二周的课程笔记：自然语言处理和词嵌入。接下来我们看看词嵌入和自然语言处理，让我们开始吧。目录《2.1词汇表征》Word Representation《2.2使用词嵌入》Using Word Embeddings《2.3词嵌入的特性》Properties of Word Embeddings《2.4

来源：Coursera吴恩达深度学习课程现在机器学习和人工智能算法正渐渐地被信任用以辅助或是制定极其重要的决策，因此我们想尽可能地确保它们不受非预期形式偏见影响（they’re free of undesirable forms of bias），比如说性别歧视（gender bias）、种族歧视（ethnicity bias）等。本文章将展示词嵌入中一些有关减少或是消除这些形式的偏见的办法。本文章中使用术语bias时，不是指bias本身这个词或是偏见，而是指性别、种族、性取向方面的偏见，那是不

来源：Coursera吴恩达深度学习课程情感分类（sentiment classification）就是看一段文本，然后分辨这个人是否喜欢他们在讨论的这个东西，这是NLP中最重要的模块之一，经常用在许多应用中。情感分类一个最大的挑战就是可能标记的训练集没有那么多，但是有了词嵌入，即使只有中等大小的标记的训练集，你也能构建一个不错的情感分类器，让我们看看是怎么做到的。如上图所示，这是一个情感分类问题的例子，输入x是一段文本，而输出y是要预测的相应情感。例如一个餐馆评价的星级，比如有人说，"Th

来源：Coursera吴恩达深度学习课程目前为止我们已经了解了几个计算词嵌入的算法，另一个在NLP社区有着一定势头的算法是GloVe算法，这个算法并不如Word2Vec或是Skip-Gram模型用的多，但是也有人热衷于它，Andrew认为可能是因为它简便（its simplicity）吧，我们来看看这个算法。Glove算法是由Jeffrey Pennington，Richard Socher和Chris Manning发明的，论文为：Glove: Global Vectors for Word

来源：Coursera吴恩达深度学习课程在Word2Vec文章中，我们见到了Skip-Gram模型如何构造一个监督学习任务，把上下文映射到了目标词上，它如何学到一个实用的词嵌入（word embedding）。但是它的缺点（downside）就在于softmax计算起来很慢。因此，学习一个改善过的学习问题叫做负采样（negative sampling），它能做到与Skip-Gram模型相似的事情，但是用了一个更加有效的学习算法，让我们来看看。在本视频中大多数的想法源于这篇论文：Distribut

来源：Coursera吴恩达深度学习课程上篇文章学习词嵌入中我们已经见到了如何学习一个神经语言模型来得到更好的词嵌入，在这篇文章将会见到 Word2Vec算法，这是一种简单而且计算时更加高效的方式来学习这种类型的嵌入，让我们来看看。本视频中的大多数的想法来源于幻灯片下方的这篇论文：Efficient Estimation of Word Representations in Vector Space。如上图，假设在训练集中给定了一个这样的句子：“I want a glass of orang

来源：Coursera吴恩达深度学习课程我们将要学习一些具体的算法来学习词嵌入（learning word embeddings）。从稍微复杂一些的算法开始，因为Andrew觉得这样更容易对算法的运作方式有一个更直观的了解，之后我们会对这些算法进行简化，我们开始吧。假如你在构建一个语言模型（language model），并且用神经网络（neural network）来实现这个模型。于是在训练过程中，你想要神经网络能够做到比如输入：“I want a glass of orange ___.”，

来源：Coursera吴恩达深度学习课程这篇文章将探讨学习词嵌入的具体化，当我们应用算法来学习词嵌入时，实际上是学习一个嵌入矩阵（embedding matrix）。和之前一样，假设我们的词汇表有10,000个单词，词汇表里有a，aaron，orange，zulu，可能还有一个未知词标记UNK。我们要做的就是学习一个嵌入矩阵E，它将是一个300×10,000的矩阵，如果你的词汇表里有10,000个，或者加上未知词就是10,001维。这个矩阵的各列代表的是词汇表中10,000个不同的单词所代表的不

来源：Coursera吴恩达深度学习课程词嵌入（Word Embeddings）还有一个迷人的特性就是实现类比推理（analogy reasoning），尽管类比推理（reasonable analogies）可能不是自然语言处理应用中最重要的，不过它能帮助人们理解词嵌入做了什么，以及词嵌入能够做什么，让我们来一探究竟。如上图，这是一系列词嵌入可以捕捉的单词的特征表示，假如提出一个问题，man如果对应woman，那么king应该对应什么？我们应该都能猜到king应该对应queen。能否有一种算法

来源：Coursera吴恩达深度学习课程我们已经了解不同单词的词汇表征（Word Representation），这篇文章将看到我们如何把这种表示方法应用到NLP应用中。如上图所示，我们用命名实体识别（named entity recognition）的例子，假如有一个句子：“Sally Johnson is an orange farmer.”（Sally Johnson是一个种橙子的农民），你会发现Sally Johnson就是一个人名，所以这里的输出为1。之所以能确定Sally Johns

来源：Coursera吴恩达深度学习课程自然语言处理中一个很关键的概念就是词嵌入（word embeddings），这是语言表示的一种方式，可以让算法自动的理解一些类似的词。如下图，我们先开始讨论词汇表征（word representation）。目前为止我们一直都是用词汇表（vocabulary）来表示词，词汇表可能是10000个单词，我们一直用one-hot向量来表示词。比如man在词典里是第5391个，那么就可以表示成一个向量，只在第5391处为1，我们用O_5391代表这个量，这里的O代

记录吴恩达Andrew Ng深度学习专项课程笔记，方便之后回顾，共5门课。第一门课《神经网络与深度学习》（Neural Networks and Deep Learning）的4周课程笔记请见如下链接：1-1 Coursera吴恩达《神经网络与深度学习》第一周课程笔记-深度学习概论1-2 Coursera吴恩达《神经网络与深度学习》第二周课程笔记-神经网络基础1-3 Coursera吴恩达《神经网络与深度学习》第三周课程笔记-浅层神经网络1-4 Coursera吴恩达《神经网络与深度学习》第

来源：Coursera吴恩达深度学习课程目前我们学习了不同RNN的版本，每一个都可以独当一面（already work quite well by themselves）。但是要学习非常复杂的函数，通常我们会把RNN的多个层堆叠在一起构建更深的模型，来构建一些更深的RNN。我们开始吧。如上图左侧，一个标准的神经网络，首先是输入x，然后堆叠上隐含层，所以这里应该有激活值，比如说第一层是a^[1]，接着堆叠上下一层，激活值a^[2]，可以再加一层a^[3]，然后得到预测值y帽。深层的RNN网络如上图

来源：Coursera吴恩达深度学习课程目前为止，我们已经了解了大部分RNN模型的关键的构件（key building blocks），还有两个方法（two more ideas）可以让你构建更好的模型，①双向RNN模型（bidirectional RNN），它可以让你在序列的某点处不仅可以获取之前的信息，还可以获取未来的信息。②第二个就是深层的RNN（deep RNN）。我们现在先从双向RNN开始吧。回顾命名实体识别的例子，在判断第三个单词Teddy是不是人名的一部分时，我们只看了前三个单词，

来源：Coursera吴恩达深度学习课程上一篇文章我们学习了门控循环单元-GRU单元（Gated Recurrent Unit）。它能够实现在序列中学习非常深的连接。其他类型的单元也可以做到，比如LSTM即长短时记忆网络，甚至比GRU更加有效，让我们看看。如上图左侧是GRU的公式，有两个门（gates）：更新门Γ_u（the update gate）和相关门Γ_r（the relevance gate）。LSTM是一个比GRU更加强大和通用的版本，这多亏了 Sepp Hochreiter和

来源：Coursera吴恩达深度学习课程接下来我们将会学习门控循环单元（Gated Recurrent Unit），它改变了RNN的隐藏层，使其可以更好地捕捉深层连接，并改善了梯度消失问题，让我们看一看。如上图的公式，在RNN的时间t处，计算激活值，把这个RNN的单元用图形表示（上图左）。输入（input）上一个时间步激活值a^和x^，并起来乘上权重项，在这个线性计算之后，经过激活函数g（这里是tanh激活函数）后，得到激活值a^，然后将激活值a^传入softmax单元，用于输出y^。这张图就是

来源：Coursera吴恩达深度学习课程基本的RNN算法还有一个很大的问题，就是梯度消失（vanishing gradients）的问题。如上图，这是个语言模型的例子。有两个句子：“The cat, which already ate ……, was full.”和“The cats, which ate ……, were full.”它们都有长期的依赖（have very long-term dependencies），前面的单词对句子后面的单词有影响。但是基本的RNN模型（上图编号1所示的网

来源：Coursera吴恩达深度学习课程当训练完一个序列模型之后，我们要想了解到这个模型学到了什么，一种非正式的方法就是进行一次新序列采样（have a samplenovel sequences），来看看到底应该怎么做。注意序列模型模拟了任意特定单词序列的概率，我们需要对这些概率分布进行采样（sample）来生成一个新的单词序列。如上图所示：①第一步：对你想要模型生成的一个词进行采样，输入（input）x^=0和a^=0，现在第一个时间步得到的输出是经过softmax层后得到的概率，然后.

来源：Coursera吴恩达深度学习课程在自然语言处理中，构建语言模型（language model）是最基础的也是最重要的工作之一，并且能用RNN很好地实现。在这个视频中，我们将学习用RNN构建一个语言模型。所以什么是语言模型呢？如上图，比如一个语音识别系统，你听到一个句子，“the apple and pear（pair） salad was delicious.”，所以究竟说了什么？是 “the apple and pair salad”，还是“the apple and pear sal

来源：Coursera吴恩达深度学习课程到目前为止我们已经了解了一种RNN结构，它的输入量T_x等于输出数量T_y。事实上，对于其他一些应用，和l两者并不一定相等。在这个视频里，我们会看到更多的RNN的结构：如上图，比如音乐生成（music generation），T_x可以是长度为1甚至为空集。再比如电影情感分类（sentiment classification），输出y可以是1到5的整数，而输入是一个序列。在命名实体识别（name entity recognition）中，这个例子中输入长度

《1.4 通过时间的方向传播》Backpropagation through time之前我们已经学过了循环神经网络的基础结构，在本节视频中我们将来了解反向传播（back propagation）是怎样在循环神经网络中运行的。和之前一样，当你在编程框架中实现循环神经网络时，编程框架通常会自动处理反向传播。但我认为，在循环神经网络中，对反向传播的运行有一个粗略的认识还是非常有用的，让我们来一探究竟。对于前向传播（上图蓝色箭头所指方向）怎样在神经网络中从左到右地计算这些激活项，直到输出所有的预测结果