合合信息:利用文档解析技术助力大模型精读财报
网络 阅读: 2024-08-30 17:30:15
【编者按】
财务报告是公众和投资者了解企业经营状况的主要信源之一。步入8月中下旬,上市公司进入了中报披露高峰期。据东方财富Choice数据统计,截至8月中旬,A股有超过1700只个股公布了2024年半年度业绩预告,海量的财报文件的解读对于金融行业从业者而言,产生了巨大的工作量。
随着人工智能技术的深入发展,部分企业和个人开始尝试用大模型进行财务报表分析。针对大模型“理解力”薄弱,数据读取错误等问题,合合信息大模型“加速器”方案优化升级了PDF文档解析技术,将非结构化的PDF内容转换为结构化数据,提高大模型图表类数据提取准确性和版面理解能力,助力大模型实现从“泛读”到“精读”的能力跨越。
PDF是主流的电子文件格式之一。文档解析技术可将PDF、图片等多种格式的文件解析为 Markdown 或 JSON 格式的文档,并以一种对大模型友好的方式呈现。文档解析技术是大模型理解和处理文档的前提,相关能力的缺失,会导致大模型在理解版面不同区域的内容排列顺序、要点时遇到障碍,影响大模型的“理解力”,财务报表中的关键信息可能会丢失或被误解,使得模型生成的答案不够精准,无法正确回答用户的查询。
“人类阅读文章时可以自然地判断版面元素的作用,但机器要经历层层拆解的过程才能‘读懂’文章。”据合合信息技术团队成员介绍,财报、年报文件多以PDF格式为主,其中包含着各类复杂表格、图表、证照等元素。大模型现阶段存在的文档解析能力缺陷主要体现如下方面:文档识别失败率高,面对复杂版面,无法正确解析,获取标题、分块文本、图表等。在这种情况下,大模型常表现为细节信息提供答案失败或回答错误;逻辑结构解析不完整也是核心问题之一,段落语义划分错误,会导致大模型回答不全面或出现总结性偏差的状况。
据了解,合合信息PDF文档解析技术具备多文档元素识别、版面分析能力,可以识别文档中的段落、公式、页眉、页脚等多种元素,并进行对应的处理。在应对财报中常见的无线表、合并单元格、不规则行距、跨段、跨页等障碍时,该技术也能做到准确还原各类表格结构。
为了让大模型像专业人士一样阅读文本,PDF文档解析技术可对各类学术文献进行版面元素的识别及阅读顺序的判定。该技术不仅能够准确定位文档中的关键信息段落,还能根据PDF文档的布局和格式,推断出人类阅读时的顺序,而非机械地判定为从左至右排序,避免把完整的段落文字“拦腰斩断”,真正做到了“所见即所得”。
合合信息技术团队成员表示,上市公司年报页数大多集中在200至300页的范围内,一个熟练的分析师可能在几天到一周的时间内完成对年报的基本分析,PDF文档解析工具最快能在1.5秒完成百页文档的解析,按8小时为一天工作时间计算,解析工具可帮助大模型在一日内对数千家企业的年报数据进行精准分析。随着无纸化办公、数字化趋势发展,PDF文档解析技术有望被应用于更广泛的场景。
随着人工智能技术的深入发展,部分企业和个人开始尝试用大模型进行财务报表分析。针对大模型“理解力”薄弱,数据读取错误等问题,合合信息大模型“加速器”方案优化升级了PDF文档解析技术,将非结构化的PDF内容转换为结构化数据,提高大模型图表类数据提取准确性和版面理解能力,助力大模型实现从“泛读”到“精读”的能力跨越。
PDF是主流的电子文件格式之一。文档解析技术可将PDF、图片等多种格式的文件解析为 Markdown 或 JSON 格式的文档,并以一种对大模型友好的方式呈现。文档解析技术是大模型理解和处理文档的前提,相关能力的缺失,会导致大模型在理解版面不同区域的内容排列顺序、要点时遇到障碍,影响大模型的“理解力”,财务报表中的关键信息可能会丢失或被误解,使得模型生成的答案不够精准,无法正确回答用户的查询。
“人类阅读文章时可以自然地判断版面元素的作用,但机器要经历层层拆解的过程才能‘读懂’文章。”据合合信息技术团队成员介绍,财报、年报文件多以PDF格式为主,其中包含着各类复杂表格、图表、证照等元素。大模型现阶段存在的文档解析能力缺陷主要体现如下方面:文档识别失败率高,面对复杂版面,无法正确解析,获取标题、分块文本、图表等。在这种情况下,大模型常表现为细节信息提供答案失败或回答错误;逻辑结构解析不完整也是核心问题之一,段落语义划分错误,会导致大模型回答不全面或出现总结性偏差的状况。
据了解,合合信息PDF文档解析技术具备多文档元素识别、版面分析能力,可以识别文档中的段落、公式、页眉、页脚等多种元素,并进行对应的处理。在应对财报中常见的无线表、合并单元格、不规则行距、跨段、跨页等障碍时,该技术也能做到准确还原各类表格结构。
为了让大模型像专业人士一样阅读文本,PDF文档解析技术可对各类学术文献进行版面元素的识别及阅读顺序的判定。该技术不仅能够准确定位文档中的关键信息段落,还能根据PDF文档的布局和格式,推断出人类阅读时的顺序,而非机械地判定为从左至右排序,避免把完整的段落文字“拦腰斩断”,真正做到了“所见即所得”。
合合信息技术团队成员表示,上市公司年报页数大多集中在200至300页的范围内,一个熟练的分析师可能在几天到一周的时间内完成对年报的基本分析,PDF文档解析工具最快能在1.5秒完成百页文档的解析,按8小时为一天工作时间计算,解析工具可帮助大模型在一日内对数千家企业的年报数据进行精准分析。随着无纸化办公、数字化趋势发展,PDF文档解析技术有望被应用于更广泛的场景。
本文 原创,转载保留链接!网址:https://licai.bangqike.com/cjnews/738354.html
声明
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。