2021年CVPR自制适应手写体识别MetaHTR: Towards Writer-Adaptive Handwritten Text Recognition复现

MetaHTR: Towards Writer-Adaptive Handwritten Text Recognition复现

注意：先安装git，后面要用到，先创建环境python=3.8
一.下载项目（建议使用git下载，直接下载压缩包会影响后续操作）

二.下载数据集
https://fki.tic.heia-fr.ch/databases/download-the-iam-handwriting-database
数据集下载好后进行解压（这里是我的路径）

三.按照readme执行这三个指令

第一个指令：pip install -r requirements.txt # install requirements
使用这个指令，会根据requirements.txt安装所需要的依赖，注意安装qpth==0.0.15时会报错（链接），点击链接，下载这个文件解压后修改setup.py文件，将里面的numpy>=1<2改为numpy>=1。
然后在当前环境下切换目录到setup.py所在文件夹下，执行pip install .（注意.也是指令的一部分）如果您是cpu用户，直接看第二个指令。如果您是gpu用户，根据您的系统在torch官网，找到torch==1.11.0的gpu指令。并执行

第二个指令：pip install -e . # install this repo as a package

第三个指令：pip install -e htr # install submodule containing base models
如果您使用了git下载本项目这两个指令可以直接执行，如果是下载了压缩包，请点击这里，将下载的htr项目解压到当前项目下

执行所有指令后，项目结构如下

四.运行子模型（需要配置运行环境）
①gpu的用户请在，main.py文件下自行添加accelerator='gpu'

②修改各文件的targets变量类型为long
在这两个文件夹下修改targets=targets.long()

htr/htr/sar/sar.py文件下

htr/htr/lit_models.py文件下

③htr/htr/main.py(记得配置运行环境)，运行后会生成checkpoint

④根据效果，选择效果最好的checkpoint并添加入配置文件，运行后得到子模型效果

五.metahtr整体模型
运行metahtr/train.py
gpu的用户请自行添加accelerator='gpu'
需要配置运行环境，并将--trained_model_path设置为checkpoint(可以选择刚才的checkpoint)路径

六.训练中

七.训练结束后评估结果(本人的模型正在训练中，最终效果待确认)
运行matehtr/eval.py（配置运行参数）


总结：metahtr的整个模型是基于htr子模型提出的。metahtr的训练同样也是在htr训练的基础上完善的，可以看到metahtr的损失是低于htr大概5个点左右(前提是htr已经训练的很好了，建议将htr的max_epochs设置为100以上)