背景
今天突然想到之前被要求做同性质银行的数据分析。妈耶!十几个银行,每个银行近5年的财务数据,而且财务报表一般都是 pdf 的,我们将 pdf 中表的数据一个个的拷贝到 excel 中,再借助 excel 去进行求和求平均等聚合函数操作,完事了还得把求出来的结果再统一 CV 到另一张表中,进行可视化分析…
当然,那时风流倜傥的 老Amy 还熟练的玩转着 excel ,也是个秀儿~ 今天就思索着,如果当年我会 Python 是不是可以让我成为班级最靓的崽!用技术占领高地,HHH本文来源gaodaimacom搞#代%码@网-,所以今天我来了,希望可以帮助大家解决同性质的问题。
开始学习叭
避免CV大法
pdf 文件的表格的数据可以复制,但是这是一项非常繁琐的事情。所以我首先考虑的是,Python 可否帮助我们高效且规范地读取 pdf 中的表格数据。所以一顿的检索,发现了一个比较优质处理 pdf 的库:pdfplumber,当然这个库需要大家 pip install pdfplumber 去进行安装。以及详细使用可参考全球最大基友社区:https://github.com/jsvine/pdfplumber
步骤:
- 导入 pdfplumber 库
- 通过 pdfplumber.open() 函数 获取 mt2018.pdf 文件对象
- 通过该 对象.pages 获取 pdf 每页的对象,截取我们需要的页对象即可
- 通过 页对象.extract_tables() 获取表格数据(若需要获取文本:页对象.extract_text())
代码实现:
import pdfplumber # 获取 pdf 文件对象 pdf_mt = pdfplumber.open("mt2018.pdf") # 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可 for pdf_pg in pdf_mt.pages[50:53]: # 只提取当前页表格数据 print(pdf_pg.extract_tables()) -------------------------------------------------------------------------- 结果比较多,截取一部分: [[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]]
将完整表保存到 csv 文件中
我们发现,返回的数据集是一个三维的列表。那么在我们平时处理的 excel 表格数据(行与列)都是二维的数据。那么,这多出的一维是什么呢?其实就是我们的夜[页]~ 再来一个循环取出二维数据进行保存即可
for pdf_pg in pdf_mt.pages[50:53]: for pdf_tb in pdf_pg.extract_tables(): print(pdf_tb) ------------------------------------------------------------------------------ 结果比较多,截取一部分: [['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]
但是,真的那么简单吗?这时,我们就需要细品我们的 pdf 了,如下图
我们发现,一张完整的资产负债表分布在多页上。也就是说,每一页的里面的表格数据都是一个三维的列表,所以我们保存数据的时候,需要让其有共同的表头(列索引),并且进行拼接。