大模型RAG表格识别方法面试题

• 大模型（LLMs）RAG 版面分析——表格识别方法篇
• 一、为什么需要识别表格？
• 二、介绍一下表格识别任务？

• 3.1 传统方法
• 3.2 pdfplumber 表格抽取
• 3.2.1 pdfplumber 如何进行表格抽取？
• 3.2.2 pdfplumber 常见的表格抽取模式？
• 3.3 深度学习方法-语义分割
• 3.3.1 table-ocr/table-detect：票据图片复杂表格框识别（票据单元格切割）
• 3.3.2 腾讯表格图像识别

• 3.3.3 TableNet
• 3.3.4 CascadeTabNet
• 3.3.5 SPLERGE
• 3.3.6 DeepDeSRT

一、为什么需要识别表格？

表格的尺寸、类型和样式展现出多样化的特征，如背景填充的差异性、行列合并方法的多样性以及 内容文本类型的不一致性等。同时，现有的文档资料不仅涵盖了现代电子文档，也包括历史的手写 扫描文档，这些文档在样式设计、光照条件以及纹理特性等方面存在显著差异。因此，表格识别一 直是文档识别领域的重大挑战。下图所示为一个示例：

Test statistic Model Horiz. Exponential

0.307 Weibull

0.151 Discharge of Ports Temp Salinity/ Spacing Diameter Gamma

0.094 Arctangent （deg） （m） （psu） （C） （m）

Log normal

0.090 0.076 2.208 0.088 Inverse Gaussian 24,863,910 32,553,331

㚱期𠐔煲及长期僼货当期刓期齠分 19.982,999 64,482,181 64,515,314 50,287,181 33,004,338 26,003,967 28,705,256 97,486,519 76,291,148 93,220,570 128,964,448 177,880,978 160,129,814

注：左上：有颜色背景的全线表，右上：少线表，左中：无线表，左下：有复杂表格线条样式的 表格，右下：拍照得到的手写历史文档。

二、介绍一下表格识别任务？

• 表格识别包括表格检测和表格结构识别两个子任务。 表格识别过程可细分为两个关键步骤：
• 表格定位（Table Localization）：此阶段涉及识别并划定表格的整体边界，采用的技术手段包 括但不限于目标检测算法，如 YOLO、Faster RCNN 或 Mask RCNN，甚至有时借助生成对抗网 络（GAN）来精确勾勒出表格的外在轮廓。
• 表格元素解析与结构重建（Table Element Parsing and Structure Reconstruction）：
• 表格单元格划分（Cell Detection）：这—子任务着重于识别和区分表格内部的各个单 元格，不论它们是由连续线条完全包围还是部分包围，抑或是无明显线条分隔。
• 表格结构理解（Table Structure Understanding）：在此环节中，系统深入分析表格区 域以提取其中的数据内容及其内在逻辑关系，明确行与列的分布规律以及单元格之间的 层次关联，最终实现对表格原始结构的高度准确复原。

三、有哪些表格识别方法？

3.1 传统方法

利用规则指导和图像处理技术，执行如下步骤以识别结构： 1.应用腐蚀与膨胀算法来细化和增强目标区域边界特征。 2.通过分析像素连通性，确定并标记图像中的各个显著区域。 3.实施线段检测和直线拟合技术，精确描绘出图像内的线性结构元素。 4. 计算这些线性结构之间的交点，以此构建可能的边框或连接关系网络。 5. 合并初步检测到的边界框（猜测框），运用智能合并策略减少冗余并提高精度。 6.根据尺寸筛选优化，剔除不符合预期大小条件的候选区域，从而获得更为准确的目标识别结 果。

3.2 pdfplumber 表格抽取

参考：https://github.com/jsvine/pdfplumber#extracting-tables

3.2.1 pdfplumber 如何进行表格抽取？ 1. 因为表格及单元格都是存在边界的（由可见或不可见的线表示），所以第一步，pdfplumber 是 找到可见的或猜测出不可见的候选表格线。 2. 因为表格以及单元格基本上都是定义在一块矩形区域内，所以第二步，pdfplumber 是根据候选 的表格线确定它们的交点。根据得到的交点，找到它们围成的最小的单元格。把连通的单元格

• 整合到一起，生成一个检测出的表格对象。 3.2.2 pdfplumber 常见的表格抽取模式？
• lattice 抽取线框类的表格 1. 把 pdf 页面转换成图像 2.通过图像处理的方式，从页面中检测出水平方向和竖直方向可能用于构成表格的直线。 3. 根据检测出的直线，生成可能表格的 bounding box 4. 确定表格各行、列的区域 5.根据各行、列的区域，水平、竖直方向的表格线以及页面文本内容，解析出表格结构，填充单 元格内容，最终形成表格对象。
• stream 抽取非线框类的表格 6.通过 pdfminer 获取连续字符串（串行） 7. 通过文本对齐的方式确定可能表格的 bounding box （文本块） 8.确定表格各行、列的区域 9.根据各行、列的区域以及页面上的文本字符串，解析表格结构，填充单元格内容，最终形成表 格对象。 3.3 深度学习方法-语义分割 3.3.1 table-ocr/table-detect：票据图片复杂表格框识别（票据单元格切割）

1.table-ocr https://github.com/chineseocr/table-ocr •思路：运用 unet 实现对文档表格的自动检测，表格重建

1. table-detect https://github.com/chineseocr/table-detect • 思路：table detect （yolo），table line （unet）（表格检测/表格单元格定位）

• 3.3.2 腾讯表格图像识别 github : https://github.com/tommyMessi/tablelmageParser_tx
• 思路：图像分割，分割类别是 4 类：横向的线，竖向的线，横向的不可见线，竖向的不可见线， 类间并不互斥，也就是每个像素可能同时属于多种类别，这是因为线和线之间有交点，交点处 的像素是同属多条线的。
• 模型：对比 DeepLab 系列，fcn,Unet，SegNet 等，收敛最快的是 Unet。
• 已测试，效果惨不忍睹

3.3.3 TableNet

•论文：《 TableNet: Deep Learning Model for End-to-end Table Detection and Tabular Data Extraction from Scanned Document Images 》

https://www.researchgate.net/publication/337242893_TableNet_Deep_Learning_Model_for_E nd-to- end_Table_Detection_and_Tabular_Data_Extraction_from_Scanned_Document _Images • 简介：TableNet 是一个现代深度学习架构，由 TCS 研究年的团队在 2019 年提出。主要动机是 通过手机或相机从扫描的表格中提取信息。他们提出了一个解决方案，其中包括准确检测图像 中的表格区域，然后检测和提取检测到表的行和列中的信息。