YoungSeng's Blog

GAN 11. Introduction of Generative Adversarial Network (GAN)1.1 GAN的基本思想1.2 GAN作为结构化学习1.3 Generator可以自己学习吗？1.4 鉴别器能生成吗？1.5 一点理论总结1. Introduction of Generative Adversarial Network (GAN)在无监督学习方面有哪些最新的和潜在的突破？在深度学习方面，最近有哪些潜在的突破？各种各样的GAN，GAN的种类实在太多了，英文字母太

Deep Learning for Human Ianguage Processing 31. 语音转换应用场景2. 语音转换类别2.1 成对的资料2.2 不成对的资料2.2.1 特征分解2.2.2 直接转换3.1. 语音转换应用场景什么是Voice Conversion(VC)：保存了什么？- 内容改变什么了？ - 许多不同的方面…说话人转换(Speaker)可见此[Nachmani, et al., INTERSPEECH’19]和此[Deng, et al., ICASSP’20]：

@TOCHMM(Hidden Markov Model )十年前，没有Deep Learning的时候人们如何解决Tri-phone是Phoneme更细的划分，假设每个Tri-Phone由三个State组成：每个State产生两个Vec：每一个Sate会产生两个几率，一个是到下一个的Sate的几率，另一个是给定一个State产生一个Vec的可能性我们必须假设每一个Sate有一个固定的几率发出一个固定的声音，所以不能用一个Character而是用State来表示排放概率(Emission

Deep Learning for Human Ianguage Processing1. DLHLP-Introduction1.1 概述1.2 六种模型与应用1.2.1 语音到文本1.2.2 文本到语音1.2.3 语音到语音1.2.4 语音到Class1.2.5 文本到文本1.2.6 文本到Class1.3 更多应用2. 语音辨识2.1 语音辨识的Token2.2 声学特征提取2.3 Listen, Attend, and Spell (LAS)2.3.1 Encoder2.3.2 Attention2

ELMO，BERT，GPT1. Review2. ELMO3. BERT3.1 训练BERT3.2 使用BERT3.3 ERNIE3.4 BERT学到了什么4. GPT小结视频地址1. Review如何让电脑读人类的词汇？最早采用1-of-N Encoding，显然一个词用一个向量表示不合理，之后采用Word-Class，但是这种分类还是太粗糙了，再后来采用Word Embedding同一个词汇可能有不同的意思：Have you paid that money to the bank ye

Transformer and its variant 选学New ArchitectureReview为什么需要新结构？今天的新结构Transformer - Encoding & DecodingSandwich Transformers本次课是助教纪伯翰教授的，视频地址New ArchitectureReviewFully Connected Network——全连接网络有大量模型Convolutional Neural Network——可以抓住局部的信息Convo

Transformer1. 为什么要使用Self-attention？2. Self-Attention2.1 基本思想2.2 平行化(矩阵)计算2.3 Multi-head Self-attention2.4 Positional Encoding3. Transformer结构4. Attention可视化5. 应用场景小结1. 为什么要使用Self-attention？Transformer的中文意思是’变形金刚’，其一个很经典的应用就是BERT，Transformer实际上是Seq2seq mo

由RNN和Attention条件生成1. Generation2. Attention3. Tips for Generation4. Pointer Network视频链接1. Generation按组件生成结构化对象组件(Generating a structured object component-by-component)句子是由字符/语料库组成的通过RNN每次生成一个字符/单词图像是由像素组成的每次用RNN生成一个像素RNN可以生成图像、手写汉字、语音、文字，但

Recurrent Neural Network1. 应用实例2. RNN基本概念1. 应用实例槽位填充通过Feedforward网络解决槽位填充问题？输入：一个单词(每一个词都用一个向量表示)输出：属于槽的输入字的概率分布情况注：如何将每个单词表示为一个向量？1-of-N encoding矢量是词库大小，每一个维度都对应着词典中的一个词，该词的维度为1，其他维度为0。Beyond 1-of-N encodingDimension for “Other”Word hashing

Natural Language Processing with Deep Learning 课程笔记2 1. 词向量和word2vec2. 优化基础知识3. 我们能否通过计数更有效地抓住词义的本质？4. 词向量的GloVe模型5. 评价词向量6. 词义7. 回顾分类和神经网络的不同之处8. 介绍神经网络小结主要目标：在课后能读懂word embeddings论文1. 词向量和word2vec回忆：word2vec的主要思想从随机词向量开始遍历整个语料库中的每一个单词尝试使用单词向量P(o∣c

Natural Language Processing with Deep Learning 课程笔记11. 课程简介2. Introduction and Word Vectors1. The course我们希望教什么？作业计划2. Human language and word meaning同义词集WordNet用离散的符号来表示单词通过上下文来表示词语3. Word2vec introduction (15 mins)4. Word2vec objective function gradients