- 博客(14)
- 收藏
- 关注
RSS订阅原创 pytorch量化方法评估
对自己接触的pytorch模型量化方法做一个简单评估，欢迎补充指正。pytorch1.4版本之后自带的量化工具pytorch在1.4版本之后就添加了量化的功能。具体量化方案可以参见这篇官方的教程。(EXPERIMENTAL) STATIC QUANTIZATION WITH EAGER MODE IN PYTORCH优点毕竟是官方自己放出来的，实现简单，要量化自己的模型只需要改几行代码...
2020-04-14 17:42:19
2631
3
原创 Asymmetric numeral systems (ANS)非对称数字系统最全资料整理
最近在看Asymmetric numeral systems (ANS)，一开始能找到的资料非常少，后面不断的从各个渠道找到一些参考材料，在这里整理一下：论文Jarek Duda的几篇：Asymmetric numeral systemsAsymmetric numeral systems: entropy coding combining speed of Huffman coding ...
2020-03-13 18:33:28
5751
2
翻译 Asymmetric numeral systems 翻译
本文是对Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding的翻译。这里写自定义目录标题Abstract1.Introduction2. Basic concepts and versions2.1 Basic...
2020-03-11 16:58:17
2347
1
翻译 Distiller: Preparing a Model for Quantization 量化自己的神经网络模型
本文是对Distiller官方文档Preparing a Model for Quantization的翻译。Background注意：如果只希望对所需的修改进行精简以确保模型在Distiller中正确量化，则可以跳过此部分，直接进入下一部分。Distiller提供了一种，可将“原始” 的FP32 PyTorch模型转换为对应量化模型（用于量化感知训练和训练后量化）的自动机制。该机制在PyT...
2019-12-09 16:25:59
697
翻译 翻译：Skipnet: Learning Dynamic rounting in convolutional network
本文是对Skipnet: Learning Dynamic rounting in convolutional network的翻译。Abstract尽管需要更深的卷积网络才能在视觉感知任务中获得最大的准确性，但对于许多输入而言，较浅的网络就足够了。我们通过学习在每个输入的基础上跳过卷积层来利用这个观察到的结果。我们提出了SkipNet，这是一种经过改进的残差网络，它使用gating netw...
2019-11-26 17:32:20
1429
原创 linux后台运行、挂起、恢复进程相关命令
记录一些日常会用到的linux真心好用的操作。后台运行临时后台运行如果只是临时有一个命令需要长时间运行，需要最简便的保证它在后台稳定运行：nohup/setsid/&我们知道，当用户注销（logout）或者网络断开时，终端会收到 HUP（hangup）信号从而关闭其所有子进程。因此，我们的解决办法就有两种途径：要么让进程忽略 HUP 信号，要么让进程运行在新的会话里从而成为不属于...
2019-11-19 10:06:43
24688
翻译 Ｄistiller tutorial: Pruning Filters & Channels
本文为对distiller教程 Pruning Filters & Channels 的翻译。原文地址：Pruning Filters & ChannelsIntroductionchannel和filter的剪枝是结构化剪枝的示例，这些剪枝方法不需要特殊硬件即可完成剪枝并压缩模型，这也使得这种剪枝方法非常有趣并广泛应用。在具有串行数据依赖性的网络中，很容易理解和定义如何修建...
2019-11-06 17:41:36
1203
1
原创 pytorch使用多GPU进行训练
首先需要在代码开头注明所使用的GPU序号，比如：import torch.nn as nnimport osos.environ["CUDA_VISIBLE_DEVICES"] = '0，1'对linux系统来说，可以使用watch -n 0.1 nvidia-smi来查看服务器上GPU的状态与可用GPU序号。pytorch多GPU训练有两种方法，DataParallel与Di...
2019-10-30 16:40:21
719
原创 服务器（2080Ti）配置pytorch，distiller开发环境踩坑记录
公司计算资源限制，将开发环境转移到学校实验室的服务器上进行，需要重新配置一遍开发环境。服务器配置为10块RTX 2080Ti的显卡。本以为有了之前一次配置环境的经验会很顺利，naive。。。1.torch包之间的依赖关系由于distiller的requirement.txt中说明torch==1.1.0，torchvision==0.3.0，torchnet==0.0.4，pretraine...
2019-10-29 16:58:50
1431
原创 神经网络压缩库Distiller学习
课题需要来学习一下Intel开源的Distiller神经网络压缩库。Intel 主要根据以下特征和工具构建了 Distiller：集成了剪枝、正则化和量化算法的框架分析和评估压缩性能的一组工具当前最优压缩算法的示例实现安装Clone Distillergit clone https://github.com.NervanaSystems/distiller.gitCreate...
2019-10-21 15:13:01
1199
1
原创 运行ObjectDetection-OneStageDet里的make时报错
按照腾讯优图实验室开源的One-Stage目标检测项目里的教程进行复现时，进行到Preparation里的make -j32时报错raise EnvironmentError('The nvcc binary could not be located in your $PATH. Either add it to your path, or set $CUDAHOME')看了下应该是环境变量有...
2019-09-24 15:19:51
893
2
原创 top1与top5错误率
top1错误率top1就是你预测的label取最后概率向量里面最大的那一个作为预测结果，你的预测结果中概率最大的那个类必须是正确类别才算预测正确。而top5就是最后概率向量最大的前五名中出现了正确概率即为预测正确。top5错误率ILSRVRC（ImageNet 图像分类大赛） 比赛设置如下：1000类图像分类问题，训练数据集126万张图像，验证集5万张，测试集10万张（标注未公布）。评价...
2019-09-17 15:25:33
1530
原创 Imagenet数据集处理
Imagenet数据集处理前言Imagenet数据集简介Imagenet处理前言在学习pytorch时发现需要对imagenet数据集进行处理，搜了很久才找到处理方法，在这里记录一下。Imagenet数据集简介ImageNet图像数据集始于2009年，当时李飞飞教授等在CVPR2009上发表了一篇名为《ImageNet: A Large-Scale Hierarchical Image D...
2019-09-16 16:35:49
6138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人