论文阅读和分析：Syntax-Aware Network for Handwritten Mathematical Expression Recognition

HMER论文系列
1、论文阅读和分析：When Counting Meets HMER Counting-Aware Network for HMER_KPer_Yang的博客-优快云博客
2、论文阅读和分析：Syntax-Aware Network for Handwritten Mathematical Expression Recognition_KPer_Yang的博客-优快云博客
3、论文阅读和分析：A Tree-Structured Decoder for Image-to-Markup Generation_KPer_Yang的博客-优快云博客
4、 论文阅读和分析：Watch, attend and parse An end-to-end neural network based approach to HMER_KPer_Yang的博客-优快云博客
5、 论文阅读和分析：Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition_KPer_Yang的博客-优快云博客
6、 论文阅读和分析：Mathematical formula recognition using graph grammar_KPer_Yang的博客-优快云博客
7、 论文阅读和分析：Hybrid Mathematical Symbol Recognition using Support Vector Machines_KPer_Yang的博客-优快云博客
8、论文阅读和分析：HMM-BASED HANDWRITTEN SYMBOL RECOGNITION USING ON-LINE AND OFF-LINE FEATURES_KPer_Yang的博客-优快云博客

论文阅读：Syntax-Aware Network for Handwritten Mathematical Expression Recognition¹

主要观点：

1、提出将语法信息纳入编码器-解码器网络的方法。使用一组语法规则，用于将每个表达式的LaTeX标记序列转换为解析树；用深度神经网络将标记序列预测建模为树遍历过程。

2、该方法可以有效地描述表达式的语法上下文，减小HMER的结构预测误差。和现有的WAP和WAP-TD相比，考虑语法规则。

Figure 1. Comparison of different architectures: (a) An encoder-decoder framework WAP (b) A tree decoder DWAP-TD © Our model Syntax-Aware Network (SAN)

相关工作：

HMER的主要任务：

• 对同一符号的笔画进行切分；
• 符号识别；
• 语法引导下的符号结构关系分析，生成数学表达式；

HMER的难点不在于符号识别，而是符号的语法关系；

序列法：

• 首先将表达式分段输入数学符号，对每个符号分别进行分类，然后通过结构关系分析识别数学表达式。这些方法采用了分类技术，如HMM，弹性匹配，支持向量机、和树变换。

• 全局方法应用一种综合策略来学习数学符号及其结构关系分析，同时隐式地分割符号。这些方法将HMER处理为基于符号识别结果的数学表达式分割、符号识别和表达式识别结构的全局优化

深度学习方法：

• 序列到序列：转换数学表达式图片到标记序列，加注意力机制等；

• 图到图的方法：探索输入公式的结构关系到标记序列；

• 树结构方法：尝试使用树结构的解码器，对图片提取的特征进行解码；

算法原理：

基本规则

1)遵循标准的阅读顺序:从左到右，从上到下。

2)利用相邻符号之间的空间关系。对于一对相邻的HME符号，总共有九种可能的关系(左、右、上、下、左下、右下、左上、右上、内)。由于约束1)，我们去掉了“左”和“下左”，保留了其余7种关系来处理我们实现中所有的MEs情况。尽管ME可能对应于不同的LaTeX序列，但由于这两个约束，语法规则生成的语法树是相同的。

数学描述

算法由元组表示：
$$G=(N,\Sigma ,R,S,\Gamma ,C,D),$$
$N$：非终止符，包括起始符$S$和拓展符$E$；

$\Sigma$：终止符；

R R