表格识别个人解决方案

挑战

目前市面上存在一些开源的模型，比如 PaddleOCR，但是此类模型对于商业表格和不规则表格的识别效果差之又差。比如下面是一个海运单的例子，原图和识别效果如下：

最后生成表格的效果也不尽如人意。
请添加图片描述

尝试过的方案

方案一

通过 TableGeneration 进行表格生成作为训练数据集（预训练模型用的 PaddleOCR 里面的），进行 html 指定和限制，然后用 html 生成相应的 excel 表格

完整项目和部分规则指定我已经上传到我的仓库：https://github.com/qulishen/table_generation

但是通过我实际训练之后，发现模型泛化性较差，只能识别生成的表格形式的表格（相当于只记住了单元格的位置，没有记住划分规则）

方案二（目前认为更可行）

利用 modelscope表格分割框架（比 PaddleOCR 检测效果要好），分割成每一个单元格（返回值是每一个单元格四个点的坐标），然后利用 PaddleOCR 的文字识别模型，对每一个单元格进行文字识别。但是目前 modelscope 没有开源如何将相对位置生成为 excel 表格的代码，因此**本方案只能得到每个单元格的内容以及大概的相对关系，无法生成 excel（如果您有方法，欢迎与我联系）**

我的代码在：https://github.com/qulishen/Table_Recognition
（本项目还实现了一些特殊表格的识别以及多表格版面分析+识别）

期望效果

目前最好实现下述效果的思路（能够生成每一个单元格的相对位置和生成 excel 表格），如果您有其他方案，欢迎与我讨论！