caffe中使用crop_size剪裁训练图片

[python]  view plain  copy

1. layer {  
2.   name: "data"  
3.   type: "Data"  
4.   top: "data"  
5.   top: "label"  
6.   include {  
7.     phase: TRAIN  
8.   }  
9.   transform_param {  
10.     mirror: true  
11.     crop_size: 600  
12.     mean_file: "examples/images/imagenet_mean.binaryproto"  
13.   }  
14.   data_param {  
15.     source: "examples/images/train_lmdb"  
16.     batch_size: 256  
17.     backend: LMDB  
18.   }  
19. }  
20. layer {  
21.   name: "data"  
22.   type: "Data"  
23.   top: "data"  
24.   top: "label"  
25.   include {  
26.     phase: TEST  
27.   }  
28.   transform_param {  
29.     mirror: false  
30.     crop_size: 600  
31.     mean_file: "examples/images/imagenet_mean.binaryproto"  
32.   }  
33.   data_param {  
34.     source: "examples/images/val_lmdb"  
35.     batch_size: 50  
36.     backend: LMDB  
37.   }  
38. }  

从上面的 数据层的定义,看得出用了镜像和crop_size,还定义了 mean_file。

利用crop_size这种方式可以剪裁中心关注点和边角特征,mirror可以产生镜像,弥补小数据集的不足.

这里要重点讲一下crop_size在训练层与测试层的区别：

首先我们需要了解mean_file和crop_size没什么大关系。mean_file是根据训练集图片制作出来的，crop_size是对训练集图像进行裁剪，两个都是对原始的训练集图像进行处理。如果原始训练图像的尺寸大小为800*800，crop_size的图片为600*600，则mean_file与crop_size的图片均为800*800的图像集。

在caffe中，如果定义了crop_size，那么在train时会对大于crop_size的图片进行随机裁剪，而在test时只是截取中间部分（详见/caffe/src/caffe/data_transformer.cpp）：

[python]  view plain  copy

1. //We only do random crop when we do training.  
2.     if (phase_ == TRAIN) {  
3.       h_off = Rand(datum_height - crop_size + 1);  
4.       w_off = Rand(datum_width - crop_size + 1);  
5.     } else {  
6.       h_off = (datum_height - crop_size) / 2;  
7.       w_off = (datum_width - crop_size) / 2;  
8.     }  
9.   }  

---

• 从上述的代码可以看出，如果我们输入的图片尺寸大于crop_size，那么图片会被裁剪。当 phase 模式为 TRAIN 时，裁剪是随机进行裁剪，而当为TEST 模式时，其裁剪方式则只是裁剪图像的中间区域。

下面是我在网上找到的自己进行图像裁剪的程序：

可对照给出的网址进行详细阅读：http://blog.csdn.NET/u011762313/article/details/48343799

我们可以手动将图片裁剪并导入pycaffe中，这样能够提高识别率（pycaffe利用caffemodel进行分类中：进行分类这一步改为如下）：

[python]  view plain  copy

1. #记录分类概率分布  
2. pridects = np.zeros((1, CLASS_NUM))  
3.   
4. # 图片维度（高、宽）  
5. img_shape = np.array(img.shape)  
6. # 裁剪的大小（高、宽）  
7. crop_dims = (32, 96)  
8. crop_dims = np.array(crop_dims)  
9. # 这里使用的图片高度全部固定为32，长度可变，最小为96  
10. # 裁剪起点为0，终点为w_range  
11. w_range = img_shape[1] - crop_dims[1]  
12. # 从左往右剪一遍，再从右往左剪一遍，步长为96/4=24  
13. for k in range(0, w_range + 1, crop_dims[1] / 4) + range(w_range, 1, -crop_dims[1] / 4):  
14.     # 裁剪图片  
15.     crop_img = img[:, k:k + crop_dims[1], :]  
16.     # 数据输入、预处理  
17.     net.blobs['data'].data[...] = transformer.preprocess('data', crop_img)  
18.     # 前向迭代，即分类  
19.     out = net.forward()  
20.     # 每一次分类，概率分布叠加  
21.     pridects += out['prob']  
22.   
23. # 取最大的概率分布为最终结果  
24. pridect = pridects.argmax()  

---

• caffe中提供了过采样的方法（oversample），详见/caffe/python/caffe/io.py，裁剪的是图片中央、4个角以及镜像共10张图片。

注：如果图片过大， 需要适当缩小batch_size的值，否则使用GPU时可能超出其缓存大小而报错

顶

2

踩

[python]  view plain  copy

1. layer {  
2.   name: "data"  
3.   type: "Data"  
4.   top: "data"  
5.   top: "label"  
6.   include {  
7.     phase: TRAIN  
8.   }  
9.   transform_param {  
10.     mirror: true  
11.     crop_size: 600  
12.     mean_file: "examples/images/imagenet_mean.binaryproto"  
13.   }  
14.   data_param {  
15.     source: "examples/images/train_lmdb"  
16.     batch_size: 256  
17.     backend: LMDB  
18.   }  
19. }  
20. layer {  
21.   name: "data"  
22.   type: "Data"  
23.   top: "data"  
24.   top: "label"  
25.   include {  
26.     phase: TEST  
27.   }  
28.   transform_param {  
29.     mirror: false  
30.     crop_size: 600  
31.     mean_file: "examples/images/imagenet_mean.binaryproto"  
32.   }  
33.   data_param {  
34.     source: "examples/images/val_lmdb"  
35.     batch_size: 50  
36.     backend: LMDB  
37.   }  
38. }  

从上面的 数据层的定义,看得出用了镜像和crop_size,还定义了 mean_file。

利用crop_size这种方式可以剪裁中心关注点和边角特征,mirror可以产生镜像,弥补小数据集的不足.

这里要重点讲一下crop_size在训练层与测试层的区别：

首先我们需要了解mean_file和crop_size没什么大关系。mean_file是根据训练集图片制作出来的，crop_size是对训练集图像进行裁剪，两个都是对原始的训练集图像进行处理。如果原始训练图像的尺寸大小为800*800，crop_size的图片为600*600，则mean_file与crop_size的图片均为800*800的图像集。

在caffe中，如果定义了crop_size，那么在train时会对大于crop_size的图片进行随机裁剪，而在test时只是截取中间部分（详见/caffe/src/caffe/data_transformer.cpp）：

[python]  view plain  copy

1. //We only do random crop when we do training.  
2.     if (phase_ == TRAIN) {  
3.       h_off = Rand(datum_height - crop_size + 1);  
4.       w_off = Rand(datum_width - crop_size + 1);  
5.     } else {  
6.       h_off = (datum_height - crop_size) / 2;  
7.       w_off = (datum_width - crop_size) / 2;  
8.     }  
9.   }  

---

• 从上述的代码可以看出，如果我们输入的图片尺寸大于crop_size，那么图片会被裁剪。当 phase 模式为 TRAIN 时，裁剪是随机进行裁剪，而当为TEST 模式时，其裁剪方式则只是裁剪图像的中间区域。

下面是我在网上找到的自己进行图像裁剪的程序：

可对照给出的网址进行详细阅读：http://blog.csdn.NET/u011762313/article/details/48343799

我们可以手动将图片裁剪并导入pycaffe中，这样能够提高识别率（pycaffe利用caffemodel进行分类中：进行分类这一步改为如下）：

[python]  view plain  copy

1. #记录分类概率分布  
2. pridects = np.zeros((1, CLASS_NUM))  
3.   
4. # 图片维度（高、宽）  
5. img_shape = np.array(img.shape)  
6. # 裁剪的大小（高、宽）  
7. crop_dims = (32, 96)  
8. crop_dims = np.array(crop_dims)  
9. # 这里使用的图片高度全部固定为32，长度可变，最小为96  
10. # 裁剪起点为0，终点为w_range  
11. w_range = img_shape[1] - crop_dims[1]  
12. # 从左往右剪一遍，再从右往左剪一遍，步长为96/4=24  
13. for k in range(0, w_range + 1, crop_dims[1] / 4) + range(w_range, 1, -crop_dims[1] / 4):  
14.     # 裁剪图片  
15.     crop_img = img[:, k:k + crop_dims[1], :]  
16.     # 数据输入、预处理  
17.     net.blobs['data'].data[...] = transformer.preprocess('data', crop_img)  
18.     # 前向迭代，即分类  
19.     out = net.forward()  
20.     # 每一次分类，概率分布叠加  
21.     pridects += out['prob']  
22.   
23. # 取最大的概率分布为最终结果  
24. pridect = pridects.argmax()  

---

• caffe中提供了过采样的方法（oversample），详见/caffe/python/caffe/io.py，裁剪的是图片中央、4个角以及镜像共10张图片。

注：如果图片过大， 需要适当缩小batch_size的值，否则使用GPU时可能超出其缓存大小而报错

踩