panxin801的博客

transformer怎么处理语音和文本embeding维度失衡问题Author: Xin PanDate: 2021.10.28想起之前的一个问题，在语音识别中其实一个很明显的问题就是输入音频提了特征（Feat）以后维度会比较高，但是文本因为就那么些字，维度会比较少。那么它们之前在decoder上是如何产生关联关系的呢？假设现在的特征是Feat=[152,2,512]=[特征长度，batch，特征深度]，文本的tgt=[60,2,512]=[文本长度，batch，特征深度]乍看它们的维度不一样

我觉得这是一个很有意思的问题，简单但是很细节。先说结论，是为了保证梯度的平稳。那怎么个意思？首先说向量（行向量和列向量都一样），他们的点乘和叉乘。向量的内积：也叫点乘，结果是一个数。两个向量对应位相乘再求和。要求向量a和b的维度要一样。a⃗∗b⃗=(a1∗b1+a2∗b2+⋯+an∗bn)\vec{a}*\vec{b}=(a_1*b_1+a_2*b_2+\cdots+a_n*b_n)a∗b=(a1​∗b1​+a2​∗b2​+⋯+an​∗bn​)内积的几何意义：计算两个向量之间的夹角或者向量b在向

Torch tensor与numpy互相转换Author: Xin PanDate: 2020.06.07实验环境torch=1.5.0 +python=3.5.3 +numpy=1.14.6numpy转tensornumpy_data = np.arange(6).reshape((2, 3))torch_data = torch.from_numpy(numpy_data)#输出 [[0 1 2] [3 4 5]] tensor([[0, 1, 2],

Pytorch下载慢怎么办？Author: Xin PanDate: 2020.06.07问题使用pip安装torch的经常速度很慢？我们一般安装torch如果用pip的话会访问这里。如下所示使用图里的命令：但是速度经常很慢，我这的速度已经是10Kb/s了。解决访问这个网站，我们会看到类似下边的界面：这里我们可以下载torch和torchvision的whl文件。命名规则是这样的：cpu/torch-1.5.0-cp27-none-macosx_10_7_x86_64.whlcpu

Tensorflow_v1_12_0 自己的说明文档Author: Xin PanDate: 2020.03.06Update: 2020.03.25文章目录Tensorflow_v1_12_0 自己的说明文档tf.casttf.concattf.convert_to_tensortf.equaltf.expand_dimstf.Graphtf.layers.densetf.linalg...

GridSearch（网格搜索）调参Author: Xin PanDate: 2020.01.01GridSearch是模型调参的一个常用方法。使用穷举的思路，将需要调整的参数的所有组合罗列出来，每个参数组合训练一个模型得到一个精度。将参数组合的数量（如产生10种参数组合）作为X轴，将需要调整的参数和精度（如调整学习率=（1,2,3），隐层神经元数量=（128,256,512））作为Y轴...

ValueError: Incompatible shapes between op input and calculated input gradient. Forward operation: deconv1d/conv2d_transpose.Date: 2019.12.29Author: Xin Pan问题ValueError: Incompatible shapes betw...