• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

Python读取pdf表格写入excel的方法

python 搞代码 4年前 (2022-01-09) 33次浏览 已收录 0个评论

背景

今天突然想到之前被要求做同性质银行的数据分析。妈耶!十几个银行,每个银行近5年的财务数据,而且财务报表一般都是 pdf 的,我们将 pdf 中表的数据一个个的拷贝到 excel 中,再借助 excel 去进行求和求平均等聚合函数操作,完事了还得把求出来的结果再统一 CV 到另一张表中,进行可视化分析…

当然,那时风流倜傥的 老Amy 还熟练的玩转着 excel ,也是个秀儿~ 今天就思索着,如果当年我会 Python 是不是可以让我成为班级最靓的崽!用技术占领高地,HHH本文来源gaodaimacom搞#代%码@网-,所以今天我来了,希望可以帮助大家解决同性质的问题。

开始学习叭

避免CV大法

pdf 文件的表格的数据可以复制,但是这是一项非常繁琐的事情。所以我首先考虑的是,Python 可否帮助我们高效且规范地读取 pdf 中的表格数据。所以一顿的检索,发现了一个比较优质处理 pdf 的库:pdfplumber,当然这个库需要大家 pip install pdfplumber 去进行安装。以及详细使用可参考全球最大基友社区:https://github.com/jsvine/pdfplumber

步骤:

  • 导入 pdfplumber 库
  • 通过 pdfplumber.open() 函数 获取 mt2018.pdf 文件对象
  • 通过该 对象.pages 获取 pdf 每页的对象,截取我们需要的页对象即可
  • 通过 页对象.extract_tables() 获取表格数据(若需要获取文本:页对象.extract_text())

代码实现:

import pdfplumber


# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:
  
  # 只提取当前页表格数据 
  print(pdf_pg.extract_tables())
  
  
--------------------------------------------------------------------------
结果比较多,截取一部分:
[[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]]

将完整表保存到 csv 文件中

我们发现,返回的数据集是一个三维的列表。那么在我们平时处理的 excel 表格数据(行与列)都是二维的数据。那么,这多出的一维是什么呢?其实就是我们的夜[页]~ 再来一个循环取出二维数据进行保存即可

for pdf_pg in pdf_mt.pages[50:53]:
  for pdf_tb in pdf_pg.extract_tables():
    print(pdf_tb)
    
------------------------------------------------------------------------------
结果比较多,截取一部分:
[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]

但是,真的那么简单吗?这时,我们就需要细品我们的 pdf 了,如下图

我们发现,一张完整的资产负债表分布在多页上。也就是说,每一页的里面的表格数据都是一个三维的列表,所以我们保存数据的时候,需要让其有共同的表头(列索引),并且进行拼接。


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Python读取pdf表格写入excel的方法
喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址