吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Sampling novel sequence

最新推荐文章于 2022-07-18 18:30:53 发布
原创 最新推荐文章于 2022-07-18 18:30:53 发布 · 818 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#RNN #序列采样

本文介绍如何使用训练好的循环神经网络(RNN)进行序列采样生成，并探讨字母级语言模型的优势与局限性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这一节主要讲了如何从一个训练好的RNN中进行采样得到序列

这里写图片描述

从训练好的RNN中采样出一个序列

之前在序列产生中讲到，首先RNN输入a<0>(0向量)和x<1>(0向量)，通过一个RNN cell产生一个输出y。

y = softmax(np.dot(Wya, a) + by),可以知道y是一个向量，向量每个entry表示对应index单词的概率。之前直接选择概率最大的那个作为y,在这里利用采样的方法，根据每个entry的概率值来产生y（np.random.choice）

再将这样产生的y作为下一个输入，即x<2> = y<1>，x = y

这里写图片描述

采用这样的方法直到最后y输出<EOS>或者句子达到之前设定的长度才停下，这样就利用RNN产生了一个序列

这样有可能会sample得到<UNK>，可以采用两种处理方法：一种就是如果产生<UNK>就重新进行采样，另一种就是将<UNK>保留在句子中

字母级语言模型

这里写图片描述

这里将一个字母作为一个x<t>

好处是不会产生<UNK>，例如可以产生Mau这种可能不在字典中的名字，而不是用<UNK>来代替

缺点是序列过长，如果序列前后存在一定关联，则字母级的模型可能难以捕捉到这种关联，同时由于序列更长了，计算量也比之前更大一些

这里写图片描述

序列生成的例子，利用RNN来产生一段新闻风格和莎士比亚风格的文字

Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第一周 Improvise a Jazz Solo with an LSTM Network
forqzy的专栏
02-06 3494
本周的习题有些地方有点坑，主要是题目讲述的不够清楚，以下答案供参考Improvise a Jazz Solo with an LSTM NetworkWelcome to your final programming assignment of this week! In this notebook, you will implement a model that uses an LSTM to ...
Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第一周 Dinosaur Island - Character-Level Language
forqzy的专栏
02-06 3232
Character level language model - Dinosaurus land¶ Welcome to Dinosaurus Island! 65 million years ago, dinosaurs existed, and in this assignment they are back. You are in charge of a special task. Lea
吴恩达深度学习deeplearning第五课第一周课后测验及编程作业（含答案）
03-04
吴恩达深度学习deeplearning第五课第一周课后测验及编程作业（含答案）
对新序列采样（Sampling novel sequences）
csdn_xmj的博客
06-20 1226
来源：Coursera吴恩达深度学习课程 当训练完一个序列模型之后，我们要想了解到这个模型学到了什么，一种非正式的方法就是进行一次新序列采样（have a samplenovel sequences），来看看到底应该怎么做。 注意序列模型模拟了任意特定单词序列的概率，我们需要对这些概率分布进行采样（sample）来生成一个新的单词序列。如上图所示： ①第一步：对你想要模型生成的一个词进行采样，输入（input）x^=0和a^=0，现在第一个时间步得到的输出是经过softmax层后得到的概率，然后.
吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Long Short Term Memory(LSTM)
coolW的博客
03-04 616
这一节主要讲解了LSTM单元LSTM和GRU略有区别，可以说是一种更加通用的GRU模型在LSTM中，c<t>不再等于a<t>，因此原来公式中的c<t-1>要改成a<t-1>，同时在LSTM中，也没有了Γr这个门但不同是，除了同样保持了Γu这个门之外，还增加了Γf（forget gate）和Γo(output gate)两个门。在原来c<t>的更新公式中，将(1-Γu)替换为Γf,并且在利用Γo来得到
《DeepLearning.ai》第五课 深度学习的实践层面
qq_44783439的博客
09-05 153
第五课 深度学习的实践层面 1.1 训练、验证、测试集(Train/Dev/Test sets) 总结一下，在机器学习中，我们通常将样本分成训练集(60%)，验证集(20%)和测试集(20%)三部分，数据集规模相对较小，适用传统的划分比例，数据集规模较大的，验证集和测试集要小于数据总量的 20%或 10%. 若两类数据不同(例如一个是网页抓取到的数据图片，一个是现实中的测试集和验证集)，但要确保验证集和测试集的数据来自同一分布。 通常没有测试集也不要紧 1.2 偏差，方差(Bias/Variance)
Sequence Models
kexinxin1的博客
11-04 449
Sequence Models This is the fifth and final course of the deep learning specialization at Coursera which is moderated by deeplearning.ai Here are the course summary as its given on the course link: ...
吴恩达deeplearning.ai系列课程笔记+编程作业(13)序列模型(Sequence Models)-第一周 循环序列模型（Recurrent Neural Networks）
肖泽的博客
04-02 1429
第五门课 序列模型(Sequence Models) 第一周 循环序列模型（Recurrent Neural Networks） 文章目录第五门课 序列模型(Sequence Models)第一周 循环序列模型（Recurrent Neural Networks）1.1 为什么选择序列模型？（Why Sequence Models?）1.2 数学符号（Notation）1.3 循环神经网络模型（R...
【吴恩达deeplearning.ai】深度学习(10)：自然语言处理
Pyrohjewel
03-22 2692
自然语言处理（Natural Language Processing，NLP)是人工智能和语言学领域的学科分支，它研究实现人与计算机之间使用自然语言进行有效通信的各种理论和方法。 词嵌入 前面介绍过，处理文本序列时，通常用建立字典后以one-hot的形式表示某个词，进而表示某个句子的方法。这种表示方法孤立了每个词，无法表现各个词之间的相关性，满足不了NLP的要求。 词嵌入（Word Em...
吴恩达深度学习课后习题第五课第一周编程作业2:Dinosaurus_Island_Character_level_language_model
weixin_71479720的博客
07-18 1075
吴恩达深度学习课后习题第五课第一周编程作业2:Dinosaurus_Island_Character_level_language_model
吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第二周作业
04-12
第五课第二周作业 带答案，大小有限制，所以每周分开传了。
吴恩达深度学习deeplearning第五课第三周课后测验及编程作业（含答案）
03-11
吴恩达深度学习deeplearning第五课第三周课后测验及编程作业（含答案）
Coursera 吴恩达DeepLearning.AI 第五课 sequence model 序列模型 第二周 Operations on word vectors - v2
forqzy的专栏
02-12 3206
只做了计分部分Operations on word vectorsWelcome to your first assignment of this week!Because word embeddings are very computionally expensive to train, most ML practitioners will load a pre-trained set of e...
吴恩达-深度学习笔记《序列模型》
qq_27163197的博客
11-05 1330
课程内容： - 理解如何构建并训练循环神经网络（RNN），以及一些广泛应用的变体，例如GRU和LSTM - 能够将序列模型应用到自然语言问题中，包括文字合成。 - 能够将序列模型应用到音频应用，包括语音识别和音乐合成 第一周 循环序列模型 本周的知识点是循环神经网络。这种类型的模型已经被证明在时间数据上表现非常好，它有几个变体，包括 LSTM、GRU...
吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Language model and sequence generation
coolW的博客
03-04 476
什么是语言建模？例如语音识别，识别说的到底是哪句话。pair和pear听起来非常相似，神经网络会输出两句话的可能性，当然一个训练良好的神经网络会对后面那句输出更高的概率。语音模型输出的是“是这个sentence”的概率，y<t>代表某个单词利用RNN来进行语言建模训练集：英语语料库 将每个单词符号化。句子有几个单词就有几个y,每个y输出的是可能性，代表每个单词的可能性，后面会筛选出可能性最大的那个
吴恩达《深度学习》第五课第一周
u013093426的博客
08-04 1170
序列模型——循环序列模型 1.1为什么选择序列模型？ 1.使用序列模型的实例： 语音识别、音乐合成、情感分类、DNA序列分析、机器翻译、视频行为检测、命名实体识别 1.2数学符号 1.命名实体识别示例： X：输入（待识别的文本） Y：输出（某单词是否为人名，是=1，不是=0） T_x：输入序列的长度 T_y: 输出序列的长度 X&lt;t&gt;:时序输入数据的t索引值 ...
Coursera吴恩达《序列模型》课程笔记（1）-- 循环神经网络（RNN）
热门推荐
红色石头的专栏
03-07 2万+
我的网站：红色石头的机器学习之路 我的优快云：红色石头的专栏 我的知乎：红色石头 我的微博：RedstoneWill的微博 我的GitHub：RedstoneWill的GitHub 我的微信公众号：红色石头的机器学习之路（ID：redstonewill） 《Recurrent Neural Networks》是Andrw Ng深度学习专项课程中的第五门课，...
1.7 对新序列采样-深度学习第五课《序列模型》-Stanford吴恩达教授
赵继超的笔记
04-29 2513
对新序列采样 (Sampling novel sequences) 在你训练一个序列模型之后，要想了解到这个模型学到了什么，一种非正式的方法就是进行一次新序列采样，来看看到底应该怎么做。 记住一个序列模型模拟了任意特定单词序列的概率，我们要做的就是对这些概率分布进行采样来生成一个新的单词序列。下图编号1所示的网络已经被上方所展示的结构训练训练过了，而为了进行采样（下图编号2所示的网络），你要做一些...
DeepLearning.ai学习笔记（五）序列模型 -- week1 循环序列模型
aiwanghuan5017的博客
02-28 208
一、为什么选择序列模型 序列模型可以用于很多领域，如语音识别，撰写文章等等。总之很多优点。。。 二、数学符号 为了后面方便说明，先将会用到的数学符号进行介绍。 以下图为例，假如我们需要定位一句话中人名出现的位置。 红色框中的为输入、输出值。可以看到人名输出用1表示，反之用0表示； 绿色框中的\(x^{<t>},y^{<t>}\)表示对应红色框中的输入输出值的数学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值