论文阅读和分析：When Counting Meets HMER Counting-Aware Network for HMER

原创

已于 2023-03-24 23:12:40 修改 · 931 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #机器学习

于 2023-03-05 21:32:45 首次发布

文章介绍了针对手写数学表达式识别(HMER)的深度学习方法，特别是引入了弱监督的符号计数模块(MSCM)和集合计数的注意力解码模块(CCAD)，以提高识别精度。通过与现有框架如DWAP的对比，展示了MSCM如何帮助定位和计数符号，从而改进注意力机制。实验在CROHME和HME100K数据集上进行，证明了所提方法的有效性。然而，书写风格变化和结构语法的未建模仍是挑战。

HMER论文系列
1、论文阅读和分析：When Counting Meets HMER Counting-Aware Network for HMER_KPer_Yang的博客-优快云博客
2、论文阅读和分析：Syntax-Aware Network for Handwritten Mathematical Expression Recognition_KPer_Yang的博客-优快云博客
3、论文阅读和分析：A Tree-Structured Decoder for Image-to-Markup Generation_KPer_Yang的博客-优快云博客
4、论文阅读和分析：Watch, attend and parse An end-to-end neural network based approach to HMER_KPer_Yang的博客-优快云博客
5、论文阅读和分析：Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition_KPer_Yang的博客-优快云博客
6、论文阅读和分析：Mathematical formula recognition using graph grammar_KPer_Yang的博客-优快云博客
7、论文阅读和分析：Hybrid Mathematical Symbol Recognition using Support Vector Machines_KPer_Yang的博客-优快云博客
8、论文阅读和分析：HMM-BASED HANDWRITTEN SYMBOL RECOGNITION USING ON-LINE AND OFF-LINE FEATURES_KPer_Yang的博客-优快云博客

论文阅读：When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition

*有一些地方很值得学习：研究预测失败案例，并且分析原因；画注意力图对比基线；样例举例，举例一些对比基线模型更成功的样例出来举例一些本模型的失败案例，说明局限性；

主要工作：

弱监督符号计数模块MSCM，提供符号层次的位置信息和数量信息，可以使得注意力更精确；并且符号计数结合到编解码结构没有额外的标注工作。
比现有的DWAP，加入符号计数模块后精度更高；

在这里插入图片描述
“Fig. 1. (a)] Illustration of the symbol counting task. (b) Comparison between the existing framework (e.g., DWAP [40]) and the proposed framework (CAN). By visualizing the attention map, we can observe that the existing framework misses the denominator “dy” while our CAN correctly locate it after using symbol counting.”

模型构成：

总体框架

由主干网络（DenseNet）、多尺度计数模块MSCM和集合计数的注意力解码模块CCAD构成

在这里插入图片描述

“ig. 2. Structure of the proposed CAN, which consists of a backbone network, a multiscale counting Module (MSCM)] and a counting-combined attentional decoder (CCAD).”