文章整理1--caffe2深度学习

1 安装

1.1 Ubuntu16.04安装OpenCV

mkdir build
mkdir release
cd build

build

 cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/home/lv009/soft/opencv-3.2.0/release -D WITH_CUDA=OFF ..

make -j && make install

问题：No module named cv2
原因在于 python2.7 找不到 cv2.so 文件

 sudo cp ~/soft/opencv-3.2.0/build/lib/cv2.so ~/anaconda2/lib/python2.7/site-packages/

Ubuntu16.04安装OpenCV

1.2 支持GPU的Caffe2安装

综合指南：通过在Ubuntu 16.04上从Source构建来安装支持GPU的Caffe2
pytorch
caffe2

2 数据集

2.1 imagenet 2012数据集

• imagenet2012数据集，以及label说明

3 caffe2

3.1 pytorch/caffe2/python/example/resnet50_trainer.py

3.1.1 Caffe2 - (二)Distributed Training分布式训练

Caffe2 最重要的一个特点是，便于分布式训练，无须重构设计即可快速实现网络的伸缩.

进一步学习Caffe2分布式训练的例子，可参考SynchronousSGD， 该材料阐述了Caffe2的data_parallel_model设计规则.

• Gloo - 用于多机训练的通信库
• NCLL - NVIDIA推出的多GPU通信的NCCL库
• Redis - 为了对分布式训练的节点进行有效管理， Caffe2采用NFS在节点间分享数据，或者采用Redis服务器来处理节点间的通信

Caffe2 提供的一个分布式训练实例resnet50_trainer中，可以在单个GPU上运行 resnet50_trainer脚本. 其中，训练数据需要先加载到 lmdb database， 或者LevelDB.

usage: resnet50_trainer.py [-h] --train_data TRAIN_DATA 
                           [--test_data TEST_DATA] [--db_type DB_TYPE]
                           [--gpus GPUS] [--num_gpus NUM_GPUS]
                           [--num