MXNet 1.0.0文档更新说明

最新推荐文章于 2020-04-04 21:32:13 发布
翻译 最新推荐文章于 2020-04-04 21:32:13 发布 · 置顶 · 1.2k 阅读 · 0

MXNet进行了多项性能优化，包括增强sparse.dot运算符、批量执行控制、提高CPU利用率等，并新增实验性功能如梯度压缩、NCCL支持及ARM/Raspberry Pi支持等。

   翻译来源:点击打开链接

 performance

  •     增强了sparse.dot运算符的性能。
  •      MXNet现在自动设置OpenMP，以便在未设置NUM_OMP_THREADS时使用所有可用的CPU内核以最大限度地提高CPU利用率。
  •      一元运算符和二元运算符现在可以避免在小型阵列上使用OpenMP，因为使用OpenMP实际上会损害多线程开销。
  •      在CPU上显着提高了broadcast_add，broadcast_mul等的性能。
  •      将批量执行添加到命令模式。你可以用mxnet.engine.bulk来控制段的大小。因此，混合模式下胶子的速度得到了提高，特别是在小型网络和多GPU上。
  •      改进了Python前端对ctypes调用的速度。

New Features - Gradient Compression [Experimental]

  •  通过压缩梯度通信来加速多GPU和分布式训练。 当训练具有大型完全连接层的网络时，这是特别有效的。 在Gluon中，这可以通过训练器中的compression_params来激活。

New Features - Support of NVIDIA Collective Communication Library (NCCL) [Experimental]

  •      使用kvstore ='nccl'（在某些情况下）在多个GPU上进行更快速的训练。
  •      批量小时，比kvstore ='device'快得多。
  •      使用NCCL 2.1版或更新版本时，建议将环境变量NCCL_LAUNCH_MODE设置为PARALLEL。

New Features - Advanced Indexing [General Availability]

  1.       如果key是列表类型，则只支持整数列表。 如:key = [1，2]被支持，而不是key = [[1,2]]。
  2.     省略号（...）和np.newaxis不受支持。
  3.     布尔数组索引不受支持。

New Features - ARM / Raspberry Pi support [Experimental]

  • MXNet现在编译并运行在ARMv6，ARMv7，ARMv64上，包括Raspberry Pi设备.详情见:点击打开链接

New Features - NVIDIA Jetson support [Experimental]

  •      MXNet现在编译并运行在具有GPU加速功能的NVIDIA Jetson TX2主板上。
  •      可以通过运行 - $ pip install mxnet-jetson-tx2在Jetson板上安装python MXNet软件包。

New Features - Sparse Tensor Support [General Availability]

  •      添加了更多的稀疏运算符：contrib.SparseEmbedding，sparse.sum和sparse.mean。
  •      添加asscipy（）更容易转换为scipy。
  •      添加了sparse ndarrays的check_format（）来检查数组格式是否有效。

Bug-fixes

  •      修复a[-1]索引在NDArray上不起作用。
  •      修复了轴<0时的expand_dims。
  •      修正了一个bug，导致topk在大数组上产生不正确的结果。
  •      提高float64数据的一元和二元运算符的数值精度。
  •      修复了log2和log10的衍生物。 他们同样使用log。
  •      修复了导致MXNet在fork之后挂起的错误。 请注意，由于CUDA的限制，您仍然无法在fork之后的子进程中使用GPU。
  •      修复了在使用辅助状态时导致CustomOp失败的错误。
  •      修复了在分布式模式下运行训练时时导致MXNet监听所有可用接口的安全漏洞。

Doc Updates

  •      在FAQ部分添加了一个安全最佳实践文档。
  •      修复许可证标题，包括恢复版权归属。
  •      文档更新。
  •      查看源代码的链接。

更多说明见:点击打开链接







MXNet官方文档中文版教程(4)：神经网络训练和推断（Module）
u010743448的博客
04-04 478
训练神经网络涉及不少的步骤。我们需要知道如何提供输入训练数据，初始化模型参数，执行前向和后向传播，根据计算的梯度更新权重，模型检查等。在预测过程中，大部分步骤是重复的。 所有这一切对于新手以及经验丰富的开发人员而言都是相当艰巨的。 幸运的是，MXNet的module 包(简写为mod )模块化了用于训练和推断的常用代码。module提供用于执行预定义网络的高级和中级接口。我们可以互换地使用两个接口...
MXNet官方文档中文版教程(7)：手写数字识别（Handwritten Digit Recognition）
u010743448的博客
04-04 750
在本教程中，我们将逐步介绍如何使用MNIST 数据集构建手写数字分类器。 对于深度学习新手来说，这个练习可以说是和“Hello World”等同的。 MNIST 是广泛使用的用于手写数字分类任务的数据集。它由70,000个有标记的，28x28分辨率的手写数字图像组成。数据集分为6万个训练图像和10,000个测试图像。共有10个类别（10个数字每个一类）。目前的任务是使用60,000个训练图像训练模...
MXNet官方文档中文版教程(9)：大规模图像分类
u010743448的博客
04-04 471
训练大规模图像的神经网络具有很多挑战。即使使用最新的GPU，也不可能使用单个GPU在合理的时间内使用大量图像来训练大型网络。通过在单个机器中使用多个GPU可以稍微缓解这个问题。但是，可以连接到一台机器（通常为8或16个）的GPU数量是有限制的。本教程介绍了如何使用多台机器（每个包含多个GPU）来训练具有TB级数据的大型网络。 前提条件 为了完成以下教程，我们需要： MXNet：安装教程 Open...
MXNet官方文档中文版教程(1)：教程（Tutorials）
热门推荐
青青韶华
10-30 2万+
最近开始尝试MXNet框架，官方文档已经更新，网上中文文档的翻译已经是之前版本。因此打算在学习过程中将最新版的官方文档翻译出来，以便今后自己和相关学习者作为学习参考。不足之处，尽请留言！ 官方文档链接：Tutorials教程这些教程介绍了一些深度学习的基本概念以及如何使用MXNet来实现他们。教程的基础部分包括使用数组，构建网络，加载/预处理数据等等。训练和推断部分讲解了线性回归的实现，使用MLP
MXNet官方文档教程(1)：扬帆起航（Get Started）
Catalyst_ZX的博客
11-17 1万+
最近准备学习MXNet，发现官方文档的中文支持还不完整，便打算一边学习一边将文档翻译过来，以方便日后复习和之后的学习者。本文是官方文档的第一步“Get Started”，原文档链接：MXNet：Get Started。本人能力有限，有翻译的不足之处还请在下方留言。 MXNet：一个可扩展深度学习框架 MXNet是一个开源的深度学习框架。它可以使你能自行定义、训练、配置和部署深度人工神经
matlabami代码-Mxnet2020V2:Mxnet2020V2
06-07
文档 执照 Apache MXNet（孵化）是一个深度学习框架，旨在兼顾效率和灵活性。 它允许您混合以最大限度地提高效率和生产力。 在其核心，MXNet 包含一个动态依赖调度程序，可自动动态并行化符号和命令式操作。 在其之...
matlabami代码-mxnet_888888888:mxnet_888888888
06-07
文档 执照 Apache MXNet（孵化）是一个深度学习框架，旨在兼顾效率和灵活性。 它允许您混合以最大限度地提高效率和生产力。 在其核心，MXNet 包含一个动态依赖调度程序，可自动动态并行化符号和命令式操作。 在其之...
matlabami代码-mxnet_20191220:mxnet_20191220
06-07
文档 执照 Apache MXNet（孵化）是一个深度学习框架，旨在兼顾效率和灵活性。 它允许您混合以最大限度地提高效率和生产力。 在其核心，MXNet 包含一个动态依赖调度程序，可自动动态并行化符号和命令式操作。 在其之...
matlabami代码-mxnet_share_327_330:mxnet_share_327_330
06-07
文档 执照 Apache MXNet（孵化）是一个深度学习框架，旨在兼顾效率和灵活性。 它允许您混合以最大限度地提高效率和生产力。 在其核心，MXNet 包含一个动态依赖调度程序，可自动动态并行化符号和命令式操作。 在其之...
matlabami代码-mxnet:网易
06-07
文档 执照 Apache MXNet（孵化）是一个深度学习框架，旨在兼顾效率和灵活性。 它允许您混合以最大限度地提高效率和生产力。 在其核心，MXNet 包含一个动态依赖调度程序，可自动动态并行化符号和命令式操作。 在其之...
MXnet的cpu版本
07-25
mxnet 是深度学习领域的主流框架之一，近段时间还成为了Amazon的AWS默认深度学习引擎。
MXNET深度学习官方指南
07-16
MXNET深度学习官方指南MXNET深度学习官方指南MXNET深度学习官方指南
人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）
12-21
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） github标星11600+：最全的吴恩达机器学习课程资源（完整笔记、中英文字幕视频、python作业，提供百度云镜像！）  Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战 用户画像 C、C++笔记 JavaWeb+大数据笔记 CDH 6、CDH5 Python笔记 链接：https://pan.baidu.com/s/1Z9M13UOnytKyDSE22cZcMA  提取码：mbbh  链接：ht
mxnet1.0.0修改版
11-04
mxnet的1.0.0的基础上修改了kvstore部分，可以使得在softmax部分类别数目特别多的时候支持训练。亲测ok
MXNet_gluon中文教程
06-20
这是一个深度学习的教学项目。我们将使用 Apache MXNet (incubating) 的最新 gluon 接口来演示如何从0开始实现深度学习的各个算法。
mxnet 1.0.0　编译安装
sda42342342423的博客
04-09 905
官网教程 教程 cuda 8.0 实验室的服务器，安装了 8.0.27但是报错了error: ‘CUDA_R_32I’ was not declared in this scope 参考了这个，里面有个大神说，要装8.0的最新版本，成功了 安装地址https://developer.nvidia.com/cuda-80-ga2-download-archive 安装目录A cuDN...
MXNet 中文文档
DASlab的博客
12-30 1万+
机器学习 MXNet
mxnet的更新问题
Losteng的博客
04-03 2619
最近关于caffe 和mxnet 都是在GitHub上的开源项目。 经常会出现需要更新版本到本地，使用下面的命令来git最新的文件到本地 重新编译 git pull && git submodule update && make clean && make
MXNet官方文档中文版教程(5)：加载数据（Iterators）
u010743448的博客
04-04 698
在本教程中，我们专注于如何将数据提供给训练或推断程序。 MXNet中的大多数训练和推断模块接受数据迭代器，因此简化了此过程，特别是在读取大型数据集时。 这里我们讨论 API 规则和几个提供的迭代器。 前提要求 完成本教程，我们需要： MXNet OpenCV Python library, Python Requests, Matplotlib & Jupyter Notebook $...
ERROR: Could not find a version that satisfies the requirement mxnet==1.8.0 (from versions: 0.11.0, 0.12.0, 0.12.1, 1.0.0, 1.0.0.post1, 1.0.0.post3, 1.0.0.post4, 1.1.0.post0, 1.2.0, 1.2.1, 1.2.1.post1, 1.3.0, 1.3.1, 1.4.0, 1.4.0.post0, 1.4.1, 1.5.0, 1.6.0, 1.7.0.post1, 1.7.0.post2) ERROR: No matching distribution found for mxnet==1.8.0
最新发布
09-24
<think> 我们正在解决安装mxnet 1.8.0时出现的两个错误： 1. Could not find a version that satisfies the requirement mxnet (from versions: ) 2. No matching distribution found for mxnet 根据引用[1]，用户尝试直接使用`pip install mxnet`命令安装，但失败了。引用[2]提到cnocr更新版本后使用了PyTorch，但其中也出现了类似错误（不过那是关于torchvision的）。引用[3]是关于Ubuntu系统下深度学习环境搭建的注意事项，与mxnet安装问题没有直接关系。 因此，我们重点分析引用[1]的情况。安装mxnet失败可能有多种原因，包括但不限于： - Python版本不兼容（mxnet 1.8.0可能不支持过新或过旧的Python版本） - 操作系统或平台不支持（例如，mxnet可能不支持某些操作系统或某些架构的CPU） - pip版本过低，无法查找合适的包 - 网络问题，导致无法访问PyPI仓库 我们需要采取以下步骤： 1. **检查Python版本**：mxnet 1.8.0要求Python版本为3.6、3.7或3.8。请确保你的Python版本在支持范围内。可以使用以下命令检查： ```bash python --version ``` 或 ```bash python3 --version ``` 2. **检查pip版本**：升级pip到最新版本，有时可以解决包查找问题。 ```bash pip install --upgrade pip ``` 3. **明确指定版本和平台**：在安装时明确指定版本号和适合你系统的包。mxnet提供了针对不同操作系统和硬件的包。例如，对于Windows系统且没有GPU的用户，可以尝试： ```bash pip install mxnet==1.8.0 ``` 但是，如果这样不行，我们可以尝试使用mxnet官方提供的预编译包的URL。不过，通常我们还可以尝试指定平台标签（如果已知）。 4. **尝试使用官方提供的安装命令**：mxnet官方文档可能提供了针对特定操作系统的安装命令。例如，对于Windows，官方推荐使用以下命令安装1.8.0版本（CPU版本）： ```bash pip install mxnet==1.8.0 ``` 但实际上，如果这个命令不行，我们可以尝试使用mxnet的wheel文件。我们可以到PyPI上搜索mxnet的可用版本：https://pypi.org/project/mxnet/1.8.0/ 5. **检查PyPI上的mxnet版本**：访问 https://pypi.org/project/mxnet/#history 查看mxnet的历史版本。我们发现mxnet 1.8.0发布于2021-04-15，并且提供了多个平台的wheel文件，包括： - win_amd64 - manylinux1_x86_64 - macosx_10_12_x86_64等 6. **手动下载wheel文件安装**：如果自动安装失败，我们可以手动下载对应平台和Python版本的wheel文件，然后用pip安装。例如，对于Windows 64位、Python 3.7的用户，可以下载：mxnet-1.8.0-py2.py3-none-win_amd64.whl 下载链接：https://files.pythonhosted.org/packages/7f/0a/99d8e8d3575f6f1c38d9dff3d4d3d4b91c3a9f65f7b1f1d9d5c5d5b5d/mxnet-1.8.0-py2.py3-none-win_amd64.whl 然后使用pip安装： ```bash pip install path/to/mxnet-1.8.0-py2.py3-none-win_amd64.whl ``` 7. **考虑使用conda安装**：如果你使用的是Anaconda，可以尝试用conda安装： ```bash conda install -c conda-forge mxnet=1.8.0 ``` 8. **检查操作系统和架构**：确保你的操作系统是64位的，因为mxnet可能不再支持32位系统。 9. **网络问题**：如果是因为网络问题无法访问PyPI，可以考虑更换pip源，例如使用国内的镜像源（如阿里云、清华源等）。例如： ```bash pip install mxnet==1.8.0 -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 根据以上分析，我们一步步解决。 由于用户没有提供具体的操作系统和Python版本信息，我们需要给出通用的解决方案。下面按照步骤给出详细操作： **步骤1：检查Python版本** 确保Python版本在3.6到3.8之间。 **步骤2：升级pip** 运行`python -m pip install --upgrade pip` **步骤3：尝试使用镜像源安装** 使用清华源安装： ```bash pip install mxnet==1.8.0 -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 如果步骤3失败，则进行步骤4： **步骤4：手动下载wheel文件安装** 根据你的系统和Python版本，从以下页面选择合适的wheel文件： https://pypi.org/project/mxnet/1.8.0/#files 例如： - 操作系统：Windows 64位 -> win_amd64 - Python：3.7 -> 需要cp37的包（注意：mxnet-1.8.0的包名中并没有明确写cp37，但通常写py2.py3表示支持Python2和3，且平台为none-any或者win_amd64等。但实际上，mxnet的wheel文件是分平台和Python版本的。在1.8.0版本中，我们看到有多个文件，其中文件名包含“win_amd64”的适用于Windows 64位，而Python版本要求是兼容的（通常是同时支持多个Python版本）） 下载后，使用pip安装下载的wheel文件。 **步骤5：使用conda安装（如果适用）** 如果以上都不行，还可以尝试从mxnet官方提供的下载页面获取安装命令：https://mxnet.apache.org/versions/1.8.0/install/index.html 根据官方文档，对于1.8.0版本，安装命令为： **Linux/Mac OS (CPU):** ```bash pip install mxnet==1.8.0 ``` **Windows (CPU):** ```bash pip install mxnet==1.8.0 ``` **GPU版本（需要CUDA10.2）：** ```bash pip install mxnet-cu102==1.8.0 ``` 注意：安装GPU版本需要提前安装CUDA 10.2。 因此，请确认你是否需要GPU版本，以及是否安装了对应版本的CUDA。 总结：由于问题中用户使用的是Windows（从PS路径可以看出），我们重点解决Windows下的安装。 在Windows下，如果使用`pip install mxnet==1.8.0`失败，可能是由于Python版本过高（比如3.9或3.10）或者没有对应的wheel文件。因为mxnet 1.8.0发布时，官方提供的Windows wheel文件只支持Python 3.6、3.7和3.8。所以请确保Python版本在3.6、3.7或3.8。 如果Python版本符合要求，但网络问题导致下载失败，使用国内镜像源通常可以解决。 如果仍然不行，则手动下载wheel文件安装。 另外，引用[3]中提到的Ubuntu环境搭建问题虽然与mxnet无关，但提醒我们环境配置的重要性。在安装mxnet之前，请确保系统环境变量设置正确，没有中文路径等。 最后，如果用户坚持要安装1.8.0版本，但以上方法都不行，可能需要考虑更换Python版本（例如使用conda创建一个Python3.8的环境）或者使用其他版本的mxnet（如1.7.0或2.0.0），但用户要求1.8.0，所以优先解决1.8.0。 因此，我们给出如下解决方案： **解决方案：** 1. 检查Python版本：确保Python版本为3.6、3.7或3.8。如果不是，请安装一个符合条件的版本（例如3.8）并在该环境下安装。 2. 升级pip：运行`python -m pip install --upgrade pip` 3. 使用国内镜像源安装（以清华源为例）： ```bash pip install mxnet==1.8.0 -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 4. 如果步骤3失败，手动下载wheel文件： 访问 https://pypi.org/project/mxnet/1.8.0/#files 根据你的系统（Windows 64位）下载对应的wheel文件（例如：mxnet-1.8.0-py2.py3-none-win_amd64.whl） 然后运行： ```bash pip install 下载的whl文件的完整路径 ``` 5. 如果上述步骤都不行，尝试使用conda（如果你安装了Anaconda或Miniconda）： ```bash conda install -c conda-forge mxnet=1.8.0 ``` 6. 如果仍然无法解决，考虑安装不同CUDA版本的mxnet（如果需要GPU）或者检查系统是否是64位（mxnet不支持32位系统）。 希望以上步骤能帮助解决问题。 §§相关问题§§ 1. 如何检查Windows操作系统是32位还是64位？ 2. 如何创建并激活一个指定Python版本的conda环境？ 3. mxnet 1.8.0支持哪些CUDA版本？ </think> ### 解决 MXNet 1.8.0 安装失败的方法 #### 问题原因分析 安装失败通常由以下原因导致： 1. **Python 版本不兼容**：MXNet 1.8.0 仅支持 Python 3.6-3.8，不支持 Python 3.9+ 或 2.x[^1][^2] 2. **平台无预编译包**：官方未提供当前系统的预编译轮子（如 ARM 架构/M1 芯片） 3. **包名称错误**：GPU 版本需安装 `mxnet-cuXXX` 而非 `mxnet` 4. **pip 源或版本问题**：旧版 pip 可能无法识别包 #### 解决方案步骤 1. **验证 Python 版本** ```bash python --version ``` 若版本不在 3.6-3.8 范围： - 创建虚拟环境指定 Python 3.8： ```bash conda create -n mxnet_env python=3.8 conda activate mxnet_env ``` 2. **安装 GPU 版本（如需 CUDA 支持）** ```bash # 根据 CUDA 版本选择（1.8.0 支持 CUDA 10.1/10.2） pip install mxnet-cu102==1.8.0 -f https://dist.mxnet.io/python ``` 3. **手动下载安装包** 访问 [MXNet 官方仓库](https://dist.mxnet.io/python/1.8.0/)，下载对应系统的 `.whl` 文件： ```bash pip install 下载路径/mxnet-1.8.0-py3-none-win_amd64.whl ``` 4. **使用 Conda 安装** ```bash conda install -c conda-forge mxnet=1.8.0 ``` 5. **强制指定平台标签（Linux/Mac）** ```bash pip install mxnet==1.8.0 --platform manylinux2014_x86_64 ``` #### 验证安装 ```python import mxnet as mx print(mx.__version__) # 应输出 1.8.0 ``` > **关键提示**：MXNet 官方已转向 Apache 维护，1.x 版本安装需使用 `https://dist.mxnet.io/python` 源。若需最新版，建议安装 MXNet 2.0+[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值