这篇文章主要介绍了python:删除离群值操作(每一行为一类数据)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
删除有多行字符串的json文件中的离群值
def processHold(eachsubject,directory,newfile): filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件 with open(filename, 'r') as f: for jsonstr in f.readlines(): # 按行读取原文件 # 这里的情况<span style="color:transparent">来源gaodai#ma#com搞*!代#%^码网</span>是每一行为一类数值，该行内的数据相互比较找出是否有离群值 # 若存在离群值，则删除该行数据 data = json.loads(jsonstr) #计算四分位点 a = numpy.array(data) q1 = numpy.percentile(a, 25) q3 = numpy.percentile(a, 75) iqr = q3 - q1 # 找出异常值 i = 0 for item in zip(data): # 在正常值范围内时 i+1 if item = q1 - (1.5*iqr): i = i + 1 if i == 10: # 这里是因为我的json文件中每行data有10个元素（如果有更好的方法，请教我一下，谢谢您！） HoldTime = data with open(newfile, 'a') as f: # 将非离群数据存入新文件 json.dump(HoldTime, f) f.write('\n')
补充知识：dataframe 离群值处理
离群值：远离数据主要部分的样本（极大值或极小值）
处理方式：
删除：直接删除离群样本
填充样本：使用box-plot定义变量的数值上下界，以上界填充极大值，以下界填充最小值
# 查看房价的离群情况 df['average_price'].hist() plt.show() df[['average_price']].boxplot() plt.show()
# 根据箱线图的上下限进行异常值的填充 def boxplot_fill(col): # 计算iqr：数据四分之三分位值与四分之一分位值的差 iqr = col.quantile(0.75)-col.quantile(0.25) # 根据iqr计算异常值判断阈值 u_th = col.quantile(0.75) + 1.5*iqr # 上界 l_th = col.quantile(0.25) - 1.5*iqr # 下界 # 定义转换函数：如果数字大于上界则用上界值填充，小于下界则用下界值填充。 def box_trans(x): if x > u_th: return u_th elif x <l_th: return l_th else: x col.map(box_trans) # 填充效果查看 boxplot_fill(df['average_price']).hist() 进行赋值 df['average_price']=boxplot_fill(df['average_price']) plt.show()
以上就是python:删除离群值操作(每一行为一类数据)的详细内容，更多请关注gaodaima搞代码网其它相关文章！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：python:删除离群值操作(每一行为一类数据)
转载请注明原文链接：python:删除离群值操作(每一行为一类数据)
