江南蜡笔小新

torch.dtype和torch.tensortype的区别。最近调试代码，报错TypeError: tensor(): argument ‘dtype’ must be torch.dtype, not torch.tensortype，原因则是因为在dtype参数中错误的传递了torch.tensortype。PyTorch有十二种不同的数据类型，简单来说，torch.dtype是现行描述数据类型的形式，存在着Legacy Constructors，他们之间的对应关系如下：Data type

Shaw P, Uszkoreit J, Vaswani A. Self-attention with relative position representations[J]. arXiv preprint arXiv:1803.02155, 2018.结合相对位置和绝对位置表征，翻译质量没有进一步提高。英德互译实验结果In our experiments we did not observe any benefit from including sinusoidal position ..

1.背景最近在阅读论文的时候接触到了古德-图灵估计法，感觉比较模糊不清，进一步查阅了一些资料，希望有一个自己的直观理解。…本论文采用的是古德-图灵估计法，其基本思想是对于任意出现r次的n元语法对，都假设它出现了r*次，即降低高概率的n元语法对，提高低概率的n元语法对…1.1 为什么要用平滑技术？通常来讲，我们认为N-gram模型是一个无监督模型，具有非常大的语料库。然而，语料库再大，也会出现未知的N元对。以bigram为例，p(鼠标|弃飞)，语料库再大这个p(鼠标|弃飞)也该等于0吧？天王老

笔记之用，原文链接：https://www.ioiogoo.cn/2018/03/15/，感谢原博分享RNN生成模型的采样策略RNN卷积神经网络可以用来做生成模型，目前已经有很多很成熟的应用，比如几个词生成一首古诗、一幅图片自动生成音乐等等。但是之前一直困扰我的一个问题是，在CNN中，将一个已经训练好的模型来预测一幅图片（假设是个分类问题），那么只要给定一张图片，它的分类肯定不会变化。而RNN在每次给定了输入后，怎么生成了不一样的输出结果呢？在网上查了一些资料发现RNN在生成结果的时候会做一个sa.

机翻+手动调整仅供学习之用PDF已上传至蓝奏云：https://wwi.lanzous.com/iAcIyl9vthcVideo Based Face Recognition by Using DiscriminativelyLearned Convex ModelsHakan Cevikalp , Golara Ghorban DordinejadAbstract大多数基于图像集的人脸识别方法对每个人使用一个生成式学习模型，该模型通过忽略图库集中的其他人而独立学习。与这些方法相比，本文介

文章目录part 1. viewing direction转3D Cartesian unit vectorpart2. Positional encoding声明：该本文代码与官方代码有差距，仅作个人练习之用。part 1. viewing direction转3D Cartesian unit vectorIn paper：In practice, we express d...

1. 定义官方手册中描述为：torch.cat(inputs, dimension=0) → Tensor在给定维度上对输入的张量序列seq 进行连接操作。torch.cat()可以看做 torch.split() 和 torch.chunk()的反操作。 cat() 函数可以通过下面例子更好的理解。参数:inputs (sequence of Tensors) – 可以是任意相...

本人非英语专业，如果表述错误敬请指出。仅作个人学习笔记之用，转载请注明出处 https://editor.youkuaiyun.com/md?articleId=105890744文章目录使用神经辐射场视觉合成来表示场景一、摘要使用神经辐射场视觉合成来表示场景一、摘要我们提出了一种通过使用稀疏的输入视图集优化潜在的连续体场景函数来合成复杂场景的新视图的方法，从而获得最新的结果。我们的算法使用一...

激活函数是神经网络中非线性的来源，因为如果去掉这些函数，那么整个网络就只剩下线性运算，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型.(1)Sigmoid函数左端趋近于0，右端趋近于1，且两端都趋于饱和.关于函数饱和解释:参考https://www.cnblogs.com/tangjicheng/p/9323389.html如果我们初始化神经网络的权值为 [0,1] 之...

文章目录一、过拟合1. 定义2. 常见原因3. 解决方案二、欠拟合1.定义2.常见原因3.解决办法三、大话过拟合欠拟合一、过拟合1. 定义在统计学中，过拟合（英语：overfitting，或称拟合过度）是指过于紧密或精确地匹配特定数据集，以致于无法良好地拟合其他数据或预测未来的观察结果的现象。[1]过拟合模型指的是相较有限的数据而言，参数过多或者结构过于复杂的统计模型。[2]发生过拟合时，模...

一、背景在廖星宇《深度学习入门》的github项目中，留了一道思考题：小练习：上面的例子是一个三次的多项式，尝试使用二次的多项式去拟合它，看看最后能做到多好提示：参数 w = torch.randn(2, 1)，同时重新构建 x 数据集二、代码部分在项目中没有给出代码，作者自己改写了一个，作了大概如下改动：改动了criterion，选用了自带的MSE使用了nn.Sequenti...

文章目录一、梯度爆炸1.什么是梯度爆炸？2.有何影响？二、梯度消失1.定义2.有何影响？三、共同点1.产生原因2.解决办法a. 方案1-预训练加微调b. 方案2-梯度剪切、正则化c. 方案3-relu、leakrelu、elu等激活函数解决方案4-batchnorm/批规范化解决方案5-残差结构解决方案6-LSTM梯度消失与梯度爆炸其实差不多，两种情况下梯度消失经常出现，一是在深层网络中，二是采...