装置pandas模块包，载入练习数据。
在pandas中，罕用的载入函数是read_csv。除此之外还有read_excel和read_table，table能够读取txt。若是服务器相干的部署，则还会用到read_sql，间接拜访数据库，但它必须配合mysql相干包。read_csv领有诸多的参数，encoding是最罕用的参数之一，它用来读取csv格局的编码。这里应用了gb2312，该编码常见于windows，如果报错，能够尝试utf-8。
sep参数是宰割符，有些csv文件用逗号宰割列，有些是分号，有些是\t，这些都须要具体设置。header参数为是否应用表头作为列名。
names参数能够为列设置额定的名字，比方csv中的表头是中文，然而在pandas中最好转换成英文。
通过输入咱们能够看到其表格的行与列数，但因为篇幅起因，显示中局部数据省略。咱们能够通过调整展现的长度及宽度显示更多文件信息。
因为数据集的数据比拟多，如果咱们只想浏览局部的话，能够应用head函数，显示头部的数据，默认5，也能够自在设置参数，如果是尾部数据则是tail。
不设置head函数参数，输入后果如下：
设置head函数参数值为7，后果输入如下：
不设置tail函数参数，输入后果如下：
设置tail函数参数为6，输入后果如下：
查看是否有反复数据，其中positionId是职位ID，具备唯一性，咱们通过此列进行反复数据查看。
咱们失去惟一值只有5031个，但依据表格共有6876个数据，咱们须要将反复数据革除。
应用drop_duplicates革除反复数据。
drop_duplicates函数通过subset参数抉择以哪个列为去重基准。keep参数则是保留形式，first是保留第一个，删除后余反复值，last还是删除后面，保留最初一个。duplicated函数性能相似，但它返回的是布尔值。
接下来解决salary薪资数据。计算出薪资上限以及薪资下限。薪资内容没有非凡的法则，既有小写k，也有大写K，还有k以上等用法，k以上只能上上限默认雷同。
这里须要用到pandas中的apply。它能够针对DataFrame中的一行或者一列数据进行操作，容许应用自定义函数。
定义一个cut_word函数，它查找「-」符号所在的地位，并且截取薪资范畴结尾至K之间的数字，也就是咱们想要的薪资下限。
apply将cut_word函数利用在salary列的所有行。
对于k以上写法的数据，find函数会返回-1，如果依照原来的形式截取，是word[:-2]，不是咱们想要的后果，所以须要加一个if判断。
因为python大小写敏感，咱们用upper函数将k都转换为K，而后以K作为截取。
输入bottomSalary及topSalary值。
接下来进行均匀薪资的求解，在求均匀薪资前，咱们须要将须要应用数据转换为int类型再进行运算。
数据类型转换为数字，这里引入新的知识点，匿名函数lambda作为一次性函数。
lambda x: * ，后面的lambda x:了解为输出，前面的星号区域则是针对输出的x进行运算。案例中，因为同时对top和bottom求平均值，所以须要加上x.bottomSalary和x.topSalary。word_cut的apply是针对Series，当初则是DataFrame。
axis是apply中的参数，axis=0示意将函数用在行，axis=1则是列。输入下图后果。
数据清理实现后，咱们将想要剖析的数据切选出，为后续的剖析。
这里仍旧能够应用head、tail函数等设置参数查看开始和结尾的局部数据。
上面对几个数据进行描述统计。
value_counts是计数，统计所有非零元素的个数，以降序的形式输入Series。对city一列进行统计：
对education一列进行统计：
对于薪资的统计，咱们应用describe函数
Describe函数能疾速生成各类统计指标。薪资的平均数是17k，中位数是15k，最大薪资在75k。
标准差在8.99k，有肯定的波动性，大部分薪资在17±9k之间。
个别分类数据用value_counts，数值数据用describe，这是最罕用的两个统计函数。
pandas自带绘图函数，它是以matplotlib包为根底封装，所以两者可能联合应用。
用hist函数很不便的就绘制除出直方图。图表列出了薪资的散布，因为大部分薪资集中20k以下，为了更细的粒度。将直方图的宽距持续放大。
数据分析的一大思维是细分维度，当初察看不同城市、不同学历对薪资的影响。箱线图是最佳的观测形式。
图表的标签出了问题，呈现了白框，次要是图表默认用英文字体，而这里的都是中文，导致了抵触。所以须要改用matplotlib。
boxplot是咱们调用的箱线图函数，column抉择箱线图的数值，by是抉择分类变量，figsize是尺寸。从图上咱们看到，北京的薪资高于其余城市，尤其是中位数。上海和深圳稍次，广州甚至不如杭州。
批改分类变量为education，失去学历对薪资的影响箱线图。
上述两个钻研均为繁多的变量的剖析，当初想晓得北京和上海这两座城市，学历对薪资的影响。
在by传递多个值，箱线图的刻度主动变成元组，也就达到了横向比照的作用。在pandas中，须要同时用到多个维度剖析时，能够用groupby函数。它和SQL中的group by差不多，能将不同变量分组。
上图是规范的用法，按city列，针对不同城市进行了分组。不过它并没有返回分组后的后果，只返回了内存地址。这时它只是一个对象，没有进行任何的计算，当初调用groupby的count办法。
它返回的是不同城市的各列计数后果，因为没有NaN，每列后果都是相等的。当初它和value_counts等价。
换成mean，计算出了不同城市的均匀薪资。因为mean办法只针对数值，而各列中只有aveSalary是数值，于是返回了这个惟一后果。
groupby能够传递一组列表，这时失去一组层次化的Series。按城市和学历分组计算了均匀薪资。
前面再调用unstack办法，进行行列转置，这样看的就更分明了。在不同城市中，博士学历最高的薪资在深圳，硕士学历最高的薪资在杭州。北京综合薪资最好。
)
这次换成count，咱们在groupby前面加一个avgSalary，阐明只统计avgSalary的计数后果，不必混入雷同数据。图上的后果很明确了，要求博士学历的岗位只有6个，所谓的均匀薪资，也只取决于公司开出的价码，波动性很强，毕竟这只是招聘薪资，不代表实在的博士退职薪资。这也解释了下面几个图表的异样。
接下来计算不同公司招聘的数据分析师数量，并且计算平均数。
这里应用了agg函数，同时传入count和mean办法，而后返回了不同公司的计数和平均值两个后果。所以前文的mean，count，其实都省略了agg。agg除了零碎自带的几个函数，它也反对自定义函数。
上图用lambda函数，返回了不同公司中最高薪资和最低薪资的差值。agg是一个很不便的函数，它能针对分组后的列数据进行丰富多彩的计算。然而在pandas的分组计算中，它也不是最灵便的函数。
上面想计算出不同城市，招聘数据分析师需要前5的公司，agg尽管能返回计数也能排序，但它返回的是所有后果，前五还须要手工计算。所以咱们应用apply进行操作。
自定义了函数topN，将传入的数据计数，并且从大到小返回前五的数据。而后以city聚合分组，因为求的是前5的公司，所以对companyShortName调用topN函数。
同样的，想晓得不同城市，各职位招聘数前五，也能间接调用topN。
agg和apply是不同的，尽管某些办法相近，比方求sum，count等，然而apply反对更细的粒度，它能按组进行简单运算，将数据拆分合并，而agg则必须固定为列。
使用group by，咱们曾经能随便组合不同维度。接下来配合group by作图。
多重聚合在作图下面没有太大差别，行列数据转置不要混同即可。
上述的图例咱们都是用pandas封装过的办法作图，如果要进行更自在的可视化，间接调用matplotlib的函数会比拟好，它和pandas及numpy是兼容的。plt曾经在上文中调用并且命名。
上图将上海和北京的薪资数据以直方图的模式进行比照。因为北京和上海的分析师人数相差较远，所以无奈间接比照，须要用destiny参数转化为密度。设置alpha透明度，它比箱线图更直观。
另外一种剖析思路是对数据进行深加工。咱们将薪资设立出不同的level。
cut的作用是分桶，它也是数据分析罕用的一种办法，将不同数据划分出不同等级，也就是将数值型数据加工成分类数据，在机器学习的特色工程中利用比拟多。
用lambda转换百分比，而后作沉积百分比柱形图(matplotlib如同没有间接调用的函数)。这里能够较为清晰的看到不同等级在不同地区的薪资占比。它比箱线图和直方图的益处在于，通过人工划分，具备业务含意。0～3是实习生的价位，3～6是刚毕业没有根底的新人，整顿数据那种，6～10是有肯定根底的，以此类推。
上面统计组标签一列的数据。
str办法容许咱们针对列中的元素，进行字符串相干的解决，这里的[1:-1]不再是DataFrame和Series的切片，而是对字符串截取，这里把[]都截取掉了。如果漏了str，就变成选取Series第二行至最初一行的数据。
应用完str后，它返回的仍旧是Series，当咱们想要再次用replace去除空格。还是须要增加str的。
positionLables自身有空值，所以要删除，不然容易报错。再次用str.split办法，把元素中的标签按「,」拆分成列表。
通过apply和value_counts函数统计标签数。因为各行元素曾经转换成了列表，所以value_counts会逐行计算列表中的标签，apply函数将value_counts利用在行上，最初将后果组成一张新表。
用unstack实现行列转换，看上去有点怪，因为它是统计所有标签在各个职位的呈现次数，绝大多数必定是NaN。
将空值删除，并且重置为DataFrame，此时level_0为标签名，level_1为df_index的索引，也能够认为它对应着一个职位，0是该标签在职位中呈现的次数。局部职位的标签可能呈现屡次，这里疏忽它。reset_index能够还原索引，从新变为默认的整型索引。
最初用groupby计算出标签呈现的次数。
荡涤掉引号，设置词云相干的参数。因为在jupyter中显示图片，所以须要额定的配置figsize，不然wide和height的配置有效。wordcloud也兼容pandas，所以间接将后果传入，而后显示图片，去除坐标。
转载请注明原文链接：关于python:用pandas进行数据分析实战
