解决mxnet报错：Embedding layer doesn't support calculate data gradient

最新推荐文章于 2025-01-07 18:34:54 发布

原创最新推荐文章于 2025-01-07 18:34:54 发布 · 619 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#mxnet #Embedding

mxnet 专栏收录该内容

26 篇文章

订阅专栏

本文介绍如何在MXNet中使用BlockGrad操作来阻止反向传播中的梯度计算，通过修改Embedding层的输入处理方式，实现特定层的梯度屏蔽。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

word_embed = mx.sym.Embedding(data=seq, input_dim=vocab_size, output_dim=num_embed, name='seq_embed')

　　改为：

word_embed = mx.sym.Embedding(data=mx.sym.BlockGrad(seq), input_dim=vocab_size, output_dim=num_embed, name='seq_embed')

　　即把输入数据用mx.sym.BlockGrad处理一下。
　　这相当于在反向计算梯度时，在这里不计算梯度，直接把数据传过去。详见这里

　　参考：https://github.com/apache/incubator-mxnet/issues/5258

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xiaotao_1

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

mxnet报错 Check failed: dshp.ndim() == 4U (3 vs. 4) : Input data should be 4D in batch-num_filter-y-x

Hello Word!

03-11

722

报错：mxnet.base.MXNetError: Error in operator conv0: [17:40:27] src/operator/nn/convolution.cc:152: Check failed: dshp.ndim() == 4U (3 vs. 4) : Input data should be 4D in batch-num_filter-y-x 明明输入数据是4维的，为什么报错？因为用collections.namedtuple装载数据，进行前向预测时，没有给data外面加

mxnet报错TypeError: type ＜class ‘mxnet.initializer.InitDesc‘＞ not supported

Hello Word!

03-11

207

手动写mxnet预测代码对单个图像进行预测时，报错： Traceback (most recent call last): File "/home/user1/pjs/frvt/arcface_Siamese_offline/recognition/tools/eval_on_train_set.py", line 163, in <module> fc7_mod.init_params(arg_params=fc7_overall, aux_params=None) File

1 条评论您还未登录，请先登录后发表或查看评论

bert-embedding：m来自mxnet和gluonnlp上BERT模型的令牌级嵌入

02-03

MAXTENT模型地理维度不一致的解决办法

qq_32678749的博客

04-10

5925

MAXTENT模型制作土壤或气候数据后，运行报错：地理维度不一致的解决办法 Maxent error: Error projecting, two layers have different geographic dimensions 通过ArcGIS的 '重采样" 已经对图层栅格文件（.tif）进行了分辨率的统一，然而转换为 “.ASCII” 文件运行MAXTENT仍报错: "different geographic dimensions "。在用以下解决办法前可以先在arcgis中确认一下栅格分

embedding层_如何在mxnet gluon中使用预训练的embedding

weixin_39653717的博客

11-27

394

我们复现别人的论文的时候，往往发现nlp任务中大量使用预训练的word2vec作为word embedding的初始权值，如何对gluon.nn.Embedding()进行初始化也就成为了一个小问题。gluon中没有像tensorflow中专门为embedding层设计了一个传参的方法，也就是说我们需要调用 mx.init 方法来对Embedding层进行初始化。总体来说，一共有两种方法来实现使用...

maxent运行报错have different geographic dimensions地理维度不一致

最新发布

HYQ811026433的博客

01-07

1407

表示输入的样本特征层和环境层的地理范围不同,导致无法计算样本与环境之间的距离。简单来说，就是参与运算的环境因子必须。

mxnet：mx.sym.BlockGrad理解

zc199329的博客

08-29

3920

解释：我们知道现在深度学习的框架是计算图，由节点和路径组成。在前向和反向的时候都是通过图路径传递的，那么这个函数是用在反向传播的时候，字面意思就是阻塞梯度传播。举例：输入两个点，输出一个点，如下图所示：正常反向传播公式就是：y=3*a+4*b 在正常的反向传播的时候，a的偏导就是3，b的偏导为4（假设都是标量的情况下）。代码测试： import mxnet as ...

mxnet报错解决：AttributeError: module 'mxnet.context' has no attribute 'num_gpus'

个人博客

06-05

3446

早上在跑mxnet的mnist的示例代码时报错了，代码如下： import mxnet as mx ctx = mx.gpu(0) if mx.context.num_gpus() > 0 else mx.cpu(0) 报错如下： --------------------------------------------------------------------------- Attr...

mxnet 1.7.0 ubuntu 18.04训练报错：AttributeError: ‘FaceImageIter‘ object has no attribute ‘provide_data‘

Hello Word!

11-07

336

Description: Ubuntu 18.04.5 LTS Codename: bionic python: 3.7.7 出错部分的简略代码： from image_iter import FaceImageIter train_dataiter = FaceImageIter(...) train_dataiter = mx.io.PrefetchingIter(train_dataiter) 报错有两条： AttributeError: ‘FaceImageIter’ obj

import mxnet error: ImportError: cannot import name _LIB，ImportError: cannot import name Union

Hello Word!

02-03

3520

报错多种多样，在不同路径下报错不同：其中一种报错：ImportError: cannot import name _LIB $ python Python 2.7.18 (default, Aug 4 2020, 11:16:42) [GCC 9.3.0] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import mxnet Traceback (most re

mxnet学习(3)--填坑之旅(持续更新)

u011765306的博客

05-20

4726

最近在用mxnet重写代码，因为之前的代码因为集群问题没法跑了，想方设法找到一个可以在集群跑的框架，只有mxnet。于是就开始了填坑之旅。想着开篇文章记录一下这个过程，用于以后查阅，反省。　　关于symbol.infer_shapeinfer_shape可以用于测试自己写的symbol，而这里有些参数说明。文档中有说明但是不够具体，说白了就一句话，里面的参数就是构建symbol时的入口var

『MXNet』第十一弹_符号式编程初探

weixin_34107955的博客

09-13

303

一、符号分类符号对我们想要进行的计算进行了描述, 下图展示了符号如何对计算进行描述. 我们定义了符号变量A, 符号变量B, 生成了符号变量C, 其中, A, B为参数节点, C为内部节点! mxnet.symbol.Variable可以生成参数节点, 用于表示计算时的输入. 二、常用符号方法一个Symbol具有的属性和方法如下图所示: 关联节点查看 list_argume...

insightface代码解读模型输出的out与模型度量、测试的关系

优化算法

08-30

4713

针对于https://github.com/deepinsight/insightface 针对train_softmax.py line 129到line 272的get_symbol函数，定义了模型结构。其框架大体如下 def get_symbol(args,arg_params,aux_params): embedding = fresnet.get_symbol(...) #...

深度学习中Embedding层有什么用？

热门推荐

赵大宝的博客

09-05

16万+

在深度学习实验中经常会遇Eembedding层,然而网络上的介绍可谓是相当含糊。比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “*嵌入层将正整数（下标）转换为具有固定大小的向量*”之外就不愿做过多的解释。那么我们为什么要使用嵌入层 Embedding呢?

Mxnet:以全连接层为例子自定义新的操作(层)

启功社区

08-21

3985

在使用深度学习平台时，光会使用其中已定义好的操作有时候是满足不了实际使用的，一般需要我们自己定义新的操作。但是，绝大多数深度平台都是编译好的，很难再次编写。本文以Mxnet为例，官方给出四种定义新操作的方法，分别调用：１、mx.operator.CustomOp＼２、mx.operator.NDArrayOp ３、mx.operator.NumpyOp ４、使用 C++　定义底层

关于tensorflow经过embedding层维度的问题。

u010211479的博客

11-09

6103

tensorflow其实没多难，感觉在理解了维度问题以后，慢慢的就懂了。经过embedding层，embedding_output = tf.nn.embedding_lookup(embedding_mat,self.xdata) embedding层的目的是要将data表示为lstm可以输入的onehot数据。如果data的shape为（100，50），在lstm中，100是batc

什么是embedding？

weixin_44493841的博客

07-10

10万+

本文转自：https://www.jianshu.com/p/6c977a9a53de 　　简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近，但 Embedding(复仇者联...

mxnet 中Symbol API 总结《2》

共同学习

05-21

798

上次说到一些基本的Symbol的运算和在神经网络中常用的activation 和 softmax。这两个的作用是根据已知的一些变量的类型来推断出变量和输出的类型。Symbol.bind比如刚才见到的：a = mx.sym.Variable('a')b = mx.sym.Variable('b')c = a + bex = c.bind(ctx=mx.cpu(), args={'a' : mx.nd...

安装mxnet,报错：Could not build wheels for numpy, which is required to install pyproject.toml-based projects

08-21

为了解决安装 MXNet 遇到的问题，您可以尝试以下几种方法： 1. 首先，确保您的 Python 版本符合 MXNet 的要求。MXNet 目前支持 Python 3.5-3.8 版本。 2. 在安装 MXNet 之前，建议先升级 pip 版本： ``` pip ...