如果你的电脑内存较小那么想在本地做一些事情是很有局限性的（哭丧脸），比如想拿一个kaggle上面的竞赛来练练手，你会发现多数训练数据集都是大几G或者几十G的，自己那小破电脑根本跑不起来。行，你有8000w条样本你牛逼，我就取400w条出来跑跑总行了吧（狡滑脸）。
下图是2015年kaggle上一个CTR预估比赛的数据集：
看到train了吧，原始数据集6个G，特征工程后得多大？那我就取400w出来train。为了节省时间和完整介绍分批读入数据的功能，这里以test数据集为例演示。其实就是使用pandas读取数据集时加入参数chunksize。
可以通过设置chunksize大小分批读入，也可以设置iterator=True后通过get_chunk选取任意行。
当然将分批读入的数据合并后就是整个数据集了。
ok了！
补充知识：用Pandas 处理大数据的3种超级方法
易上手， 文档丰富的Pandas 已经成为时下最火的数据处理库。此外，Pandas数据处理能力也一流。
其实无论你使用什么库，大量的数据处理起来往往回遇到新的挑战。
数据处理时，往往会遇到没有足够内存（RAM）这个硬件问题。 企业往往需要能够存够数百， 乃至数千 的GB 数据。
即便你的计算机恰本文来源gaodai$ma#com搞$$代**码网好有足够的内存来存储这些数据， 但是读取数据到硬盘依旧非常耗时。
别担心！ Pandas 数据库会帮我们摆脱这种困境。 这篇文章包含3种方法来减少数据大小，并且加快数据读取速度。 我用这些方法，把超过100GB 的数据， 压缩到了64GB 甚至32GB 的内存大小。
快来看看这三个妙招吧。
数据分块
csv 格式是一种易储存， 易更改并且用户易读取的格式。 pandas 有read_csv ()方法来上传数据，存储为CSV 格式。当遇到CSV 文件过大，导致内存不足的问题该怎么办呢？试试强大的pandas 工具吧！我们先把整个文件拆分成小块。这里，我们把拆分的小块称为chunk。
一个chunk 就是我们数据的一个小组。 Chunk 的大小主要依据我们内存的大小，自行决定。
过程如下：
1.读取一块数据。
2.分析数据。
3.保存该块数据的分析结果。
4.重复1-3步骤，直到所有chunk 分析完毕。
5.把所有的chunk 合并在一起。
我们可以通过read_csv()方法Chunksize来完成上述步骤。 Chunksize是指pandas 一次能读取到多少行csv文件。这个当然也是建立在RAM 内存容量的基础上。
假如我们认为数据呈现高斯分布时， 我们可以在一个chunk 上， 进行数据处理和视觉化， 这样会提高准确率。
当数据稍微复杂时， 例如呈现泊松分布时， 我们最好能一块块筛选，然后把每一小块整合在一起。 然后再进行分析。很多时候， 我们往往删除太多的不相关列，或者删除有值行。 我们可以在每个chunk 上，删除不相关数据， 然后再把数据整合在一起，最后再进行数据分析。
代码如下：
删除数据
有时候， 我们一眼就能看到需要分析的列。事实上， 通常名字，账号等列，我们是不做分析的。
读取数据前， 先跳过这些无用的列，可以帮我们节省很多内存。 Pandas 可以允许我们选择想要读取的列。
转载请注明原文链接：pandas分批读取大数据集教程
