Crnn_chinese_characters 中文字符识别

Crnn_chinese_characters 中文字符识别

重要的源码地址：

• Warp-ctc
• Crnn_chinese_characters_rec
• 文字识别(OCR)CRNN（基于pytorch、python3） 实现不定长中文字符识别

一、实验环境

没网、没权限、centos 64

二、实验步骤

1、离线安装 anaconda

anaconda清华镜像源

先下载anaconda3-4.2对应py3.5， Anaconda3-4.2.0-Linux-x86_64.sh

相关博客

2、离线安装 torch

再下载torch-0.4.0-cp35-cp35m-linux_x86_64.whl

3、配置环境变量

修改~/.bashrc 增加如下环境变量

## WARP_CTC
export CUDA_HOME="/usr/local/cuda"
export TENSORFLOW_SRC_PATH="/data/home/douglaswang/anaconda3/lib/python3.5/site-packages:$TENSORFLOW_SRC_PATH"
export WARP_CTC_PATH="/data/home/douglaswang/2019-01/warp-ctc/build:$WARP_CTC_PATH"

4、安装warp-ctc

git clone https://github.com/SeanNaren/warp-ctc.git
cd warp-ctc
mkdir build; cd build
cmake ..
make

然后安装bindings

cd pytorch_binding
python setup.py install

5、在Crnn_chinese_characters_rec目录下执行python test.py，进行测试

因为当前环境离线，会提出缺少相关whl文件，下载地址pypi，安装方式如下：

• torchvision-0.1.8-py2.py3-none-any.whl
  • pip install torchvision-0.1.8-py2.py3-none-any.whl
• lmdb-0.94.tar.gz (源码安装)
  • tar xzvf lmdb-0.94.tar.gz
  • cd lmdb-0.9.4
  • python setup.py install

效果如下：

[douglaswang@Tencent-SNG ~/2019-01/crnn_chinese_characters_rec]$ python test.py
loading pretrained model from trained_models/mixed_second_finetune_acc97p7.pth
results: 男装、女装、童装、婴儿装、内衣、服饰、泳衣、家用饰品、针纺织品、服装面料及辅
elapsed time: 0.0521390438079834

三、安装pytorch： warp-ctc遇到的问题

Q: fatal error: torch/extension.h: No such file or directory

src/binding.cpp:6:10: fatal error: torch/extension.h: No such file or directory
 #include <torch/extension.h>
 
代码版本不一致导致的问题，将代码回退到0.4版本	`git checkout ac045b6072b9bc3454fb9f9f17674f0d59373789`

Q:THC_API cudaError_t THCudaMalloc(THCState *state, void **ptr, size_t size);

THC_API cudaError_t THCudaMalloc(THCState *state, void **ptr, size_t size);
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1。

修改pytorch_binding/src/binding.cpp文件为如下：
1 at 92 line
    int probs_size = THCudaTensor_size(state, probs, 2);
2 at l05 lines
    void* gpu_workspace;
    THCudaMalloc(state, &gpu_workspace, gpu_size_bytes);

安装 caffe遇到部分问题

Q: ImportError: libcusolver.so.8.0: cannot open shared object file: No such file or directory

A:  sudo vim ~/.bashrc 
    export LD_LIBRARY_PATH=”$LD_LIBRARY_PATH:/usr/local/cuda/lib64” 
    export CUDA_HOME=/usr/local/cuda 
    source ~/.bashrc`

Q: ‘kEmptyString’ is not a member of ‘google::protobuf::internel’

这时由于protoc编译器版本和protobuf头文件不对应的问题，原因就是系统里可能存在多个protoc的版本，但是protobuf的包含文件可能只有一种，所以就会造成这种问题，解决问题的方案就是，在Makefile里面重新指定protoc的版本

#$(Q)protoc --proto_path=$(PROTO_SEC_DIR) --cpp_out=$(PROTO_BUILD_DIR)
$(Q)/usr/bin/protoc --proto_path=$(PROTO_SEC_DIR) --cpp_out=$(PROTO_BUILD_DIR)

在Makefile 中修改这两句：
    $(Q)protoc --proto_path=$(PROTO_SRC_DIR) --cpp_out=$(PROTO_BUILD_DIR) $<
    $(Q)protoc --proto_path=$(PROTO_SRC_DIR) --python_out=$(PY_PROTO_BUILD_DIR) $<
为
    $(Q)/usr/bin/protoc --proto_path=$(PROTO_SRC_DIR) --cpp_out=$(PROTO_BUILD_DIR) $<
    $(Q)/usr/bin/protoc --proto_path=$(PROTO_SRC_DIR) --python_out=$(PY_PROTO_BUILD_DIR) $<

Caffe 训练问题

Q:F0107 18:58:32.448169 21800 syncedmem.cpp:71] Check failed: error == cudaSuccess (2 vs. 0) out of memory

A：train的batch_size设置过大，改小后可以。 http://blog.sina.com.cn/s/blog_141f234870102w8is.html

some tricks

• 可以在Makefile文件中直接指定protoc路径
  • 命令 whereis protoc 可以查看哪些路径下安装了protoc
  • 命令which protoc 可以查看默认选用protoc的路径
  • 命令 protoc --version 可以查看当前protoc版本