AI文档识别技术之表格识别(一)

文章目录

前言

此文章主要介绍DocumentAI表格识别的V1版本，通过DocumentAI表格识别实现表格检测并实现表格还原结构

• 表格检测：检测表格在图片中所处的区域
• 表格还原结构：通过表格图片还原表格的结构信息，主要包括（行数，列数，合并单元格数）

目前DocumentAI表格识别已实现V2版本，大幅提升标准表格的识别准确率，具体信息会在下一篇blog中再具体说明

1. 表格识别原理介绍

1.1 表格类型分类

在现实生活中，表格大小、种类与样式复杂多样，例如表格中存在不同的背景填充，不同的行列合并方法，不同的内容文本类型等，并且现有文档既包括现代的、电子的文档，也有历史的、扫描的手写文档，它们的文档样式、所处光照环境以及纹理等都有比较大的差异，表格识别一直是文档识别领域的研究难点。

DocumentAI表格识别将表格分为两类，一种为标准表格，另一种为非标准表格：

• 标准表格：表格边框完整，表格内线完整且清晰，无需人为再添加表格线条做表格内容分割

标准表格图片

• 非标准表格：缺少表格边框或者表格内线，表格线条不清晰，需要人为添加表格线条分割表格内容，例如下面的表格就缺少很多的横线与竖线

​ 非标准图片

1.2 识别原理

DocumentAI通过结合AI与传统算法实现表格识别，主要用到的AI能力与算法有：

• AI：版面分析能力（通过AI版面分析检测表格在图片内所处的区域）
• AI：OCR能力（通过OCR实现识别表格内容）
• 算法：图像处理算法（通过结合图像处理算法辅助获取表格结构信息）

通过以上的AI与算法再结合一些表格识别算法即可实现通用表格识别，同时支持识别标准表格与非标准表格

2. 整体识别流程

2.1 流程图

2.2 图像处理部分大致流程

图像处理的大致流程为：

1. 对输入的表格图片进行预处理
2. 通过形态学算法过滤非线条信息
3. 检测线条与block得到表格的基础信息

3. 将表格转换为html与json格式输出

3.1 html格式

通过输出表格的html格式更方便用户的结果可视化与调试

3.2 json格式

通过json格式更方便的在各语言之间传输表格数据

3.3 表格识别实例

​ 原图

​ html展示结果

{

“type”: “table_with_line”, //表格类型

“angle”: 0, //表格倾斜角度

“width”: 572, //表格宽度

“height”: 93, //表格高度

“rows”: 3, //表格行数

“cols”: 3, //表格列数

“position”: [111, 266, 683, 266, 683, 359, 111, 359], //表格位置

“height_of_rows”: [32, 30, 31], //表格每一行的高度

“width_of_cols”: [190, 190, 191], //表格每一列的宽度

“table_cells”: [ //表格内所有单元格的信息

{

“start_row”: 1, //单元格所在开始行号

“end_row”: 1, //单元格所在结束行号

“start_col”: 1, //单元格所在开始列号

“end_col”: 1, //单元格所在结束列号

“text”: “”, //单元格文本内容

“position”: [0, 0, 190, 0, 190, 32, 0, 32], //单元格位置

“lines”: [] //单元格文本行信息

},

…, // 其余单元格

{

“start_row”: 3,

“end_row”: 3,

“start_col”: 3,

“end_col”: 3,

“text”: “23%”,

“position”: [380, 62, 571, 62, 571, 93, 380, 93],

“lines”: [

​ {

​ “text”: “23%”,

​ “score”: 1,

​ “position”: [458, 70, 491, 70, 491, 93, 458, 93]

​ }

]

}

]

}

​ 表格json结果