wr1997的博客

后验坍塌在贝叶斯模型世界（如VAE，pPCA），所担心的不是神经网络的“梯度消失”或“梯度爆炸”，而是“后验失效”(posterior collapse)现象。本质上，任何模型（传统或非传统）都要从每个新样本“汲取信息”，更新自身。当信息无法汲取并用来更新模型，就会出现上述问题。相对比较晦涩，简单来说就是 z的生成已经摆脱了前边encoder的影响，然后z直接输出一个或多个从大部分样本总结出来的几种模式。该模型最终只依赖于解码器的自回归特性，而忽略了潜在变量，这变得无信息。一般认为是因为解...

KL散度KL散度：多元分布到一元对于各分量相互独立的多元分布： KL散度可以分解为边缘分布的KL散度之和： 所以，我们把注意力集中在一维分布间KL散度的计算上。正态分布贝叶斯神经网络中，正态分布常用作变分分布和先验分布。KL散度为：详细推导-VAE中的例子两个多变量高斯分布之间的KL散度是变分自编码中损失函数推导的重要步骤结果的第一项： ...

简介这一篇介绍四种Norm的方式. 之前我们介绍过BatchNorm的方法,Batch Normalization技术介绍. 这一篇会将BatchNorm, LayerNorm, InstanceNorm和GroupNorm这四种Normailzation的技术一起进行比较和说明.参考资料Pytorch Normalization Layers(官方文档使用说明): Normalization layers Pytorch Normalization中文介绍:ytorch常用normali..

1.scipy.io.wavfile.read()!!!This function cannot read wav files with 24-bit data.Common data types: [1] WAV format Min Max NumPy dtype 32-bit floating-point -1.0 +1.0 f...

先验概率、似然函数与后验概率先验概率Prior probability在贝叶斯统计中，先验概率分布，即关于某个变量 p 的概率分布，是在获得某些信息或者依据前，对 p 的不确定性进行猜测。例如， p 可以是抢火车票开始时，抢到某一车次的概率。这是对不确定性（而不是随机性）赋予一个量化的数值的表征，这个量化数值可以是一个参数，或者是一个潜在的变量。先验概率仅仅依赖于主观上...

会议：2019 interspeech单位：国立台湾大学作者：Ju-chieh Chou, Hung-yi Lee过往有许多关于音色转换的研究主要集中在并行语料集的基础上的，已经能够实现将一种的音色转换成其多种其他人音色（例如讯飞留声，百度地图个性化声音导航等），而且效果比较不错。但是这种方案有明显的缺陷，包括：（1）训练数据要求较严格（并行数据）。（2）只能转换处于训练集内的人的音色。基...

ConvBank，用于扩大感受野，抓取长时信息感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。感受野被定义为卷积神经网络特征所能看到输入图像的区域，换句话说特征输出受感受野区域内的像素点的影响。pooling为什么可以提高感受野呢？第一个作用是降低feature map的尺寸...

信息熵可以表达数据的信息量大小；相对熵，又被称为KL散度或信息散度，是两个概率分布间差异的非对称性度量在信息论中，相对熵等价于两个概率分布的信息熵的差值，若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵与真实分布的信息熵之差，表示使用理论分布拟合真实分布时产生的信息损耗因此该公式的字面上含义就是真实事件的信息熵与理论拟合的事件的香农信息量与真实...

AE自编码是一种表示学习的技术，是deep learning的核心问题让输入等于输出，取中间的一层作为embedding， 即编码对中间的隐层进行约束，就可以得到不同类型的编码h<x，这就是普通的降维编码h>x, 并且约束其稀疏性，就得到稀疏编码自编码网络，可以理解为，完成训练后，Decoder部分就没有用了SAE堆叠自编码器...

https://www.cnblogs.com/fydeblog/p/9439024.html

Word2Vec目录一．概述... 1CBow模型 (Continuous Bag-of-Words Model) 2Skip-gram模型... 2Hierarchical Softmax. 3Negative Sampling. 3二．详析... 3基于Hierarchical Softmax的模型... 4基于Hierarchical Softmax...

大部分内容摘抄自知乎相关问题作者：微软亚洲研究院作者：陈见耸作者：刘知远背景知识自然语言处理是一门交叉的学科概率论：需要了解概率、条件概率、贝叶斯法则；二项分布、期望、方差；最大似然估计、梯度下降等等 统计学：建模、数据稀疏问题、回退方法等 机器学习：分类、感知器、支持向量机 语言学：构词、词类、句法、语义；语料库和知识库等等建议1：如何在NLP领域快速学会第...

参考：《中文信息处理发展报告2016》什么是语音识别？语音识别(Automatic Speech Recognition,ASR)：利用计算机实现从语音到文字自动转换的任务。语音识别的技术有哪些？语音识别技术 = 早期基于信号处理和模式识别 + 机器学习 + 深度学习 + 数值分析+ 高性能计算 + 自然语言处理语音识别技术的发展可以说是有一定的历史背景，上世纪80年代，语音识...

意识到是关于所翻译内容的大小问题，还是调了好久。查阅get方式的请求会限制1024字节，而改成post方式发送请求就可以了。post方式如下：import hashlibimport jsonimport randomimport requestsurl="http://api.fanyi.baidu.com/api/trans/vip/translate"appid ...

1、什么是CUDA CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。2、什么是CUDNN NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA c...

Screen技巧Screen是一个可以在多个进程之间多路复用一个物理终端的全屏窗口管理器。Screen中有会话的概念，用户可以在一个screen会话中创建多个screen窗口，在每一个screen窗口中就像操作一个真实的telnet/SSH连接窗口那样。有了Screen，就不用当心我们在ssh连接linux执行命令或者脚本时候shh断开而造成影响了。【创建完yourname的会话...

参考博客：https://blog.youkuaiyun.com/blmoistawinde/article/details/82379256该博客将引号的情况也考虑进来，然后实践中发现还有括号的问题。import redef cut_sent(para): para = re.sub('([。！？\?])([^”’])', r"\1\n\2", para) # 单字符断句符 ...

import osimport refrom opencc import *input_path = 'D:\\......\\xx'output_path = 'D:\\.....\\yy'all_files = []all_new_files = []#获取原始所有文件def get_all_file(ipath): all_file_list = os.lis...

自然语言处理（natural language processing，NLP）在很大程度上与计算语言学（computational linguistics，CL）重合。NLP/CL有一个属于自己的最权威的国际专业学会，叫做The Association for Computational Linguistics（ACL，URL：http://aclweb.org/），这个协会主办了NLP/CL领域...

一、A类序号 刊物简称 刊物全称 出版社 网址 1 AI Artificial Intelligence Elsevier http://dblp.uni-trier.de/db/journals/ai/ 2 TPAMI ...

列一下自然语言处理(NLP)这个小方向的：会议(C):ACL (Annual Meeting of the Association for Computational Linguistics)NAACL (Annual Conference of the North American Chapter of Association for Computational Linguistics)...