Python把csv数据写入list和字典类型的变量脚本方法

 #coding=utf8 import csv import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename='readDate.log', filemode='w') ''' 该模块的主要功能，是根据已有的csv文件， 通过readDataToDicl函数，把csv中对应的部分， 写入字典中，每个字典当当作一条json数据 ''' class GenExceptData(object): def __init__(self): try: #存放csv中读取的数据 self.mdbuffer=[] #打开csv文件，设置读的权限 csvHand=open("20170510174450.csv","r") #创建读取csv文件句柄 readcsv=csv.reader(csvHand) #把csv的数据读取到mdbuffer中 for row in readcsv: self.mdbuffer.append(row) #把数据穿件为为字典类型的 #self.readDataToList() #保存文件 except Exception,e: logging.error("Read Excel error:"+e) finally: #关闭csv文件 csvHand.close() def readDataToList(self): try: #获取mdbuffer中的元素个数 rowNumber=len(self.mdbuffer) #设置当前行号 currentrow=1 #设置json数据的属性值 propertyJson={} #propertyJsonList=[] #count=0 #读取列表中的元素 dataList=[] try: for row in range(1,rowNumber): #创建一个临时变量用来存取一次循环的属性键值 temp={} #获取列表中一个元素 item=self.mdbuffer[row] #获取当前元素，当前元素代表的是每个 #事件起始的位置 currentItem=self.mdbuffer[currentrow] #获取serviceId并进行解码 serviceId= currentItem[2].decode("gbk") #获取属性并进行解码，把解码的值存入propertyName propertyName=item[3].decode("gbk") #获取属性值并进行解码，把解码的值存入propertyValue propertyValue=item[4].decode("gbk") try: #判断埋点事件与serviceId是否相等 if item[0]==currentItem[0] and item[2]==currentItem[2]: #把serviceId方式字典propertyJson中 propertyJson["serviceId"]=serviceId #把属性/值对放入temp字典中 temp[propertyName]=propertyValue #调用字典的update函数，把temp中的键值对 #添加到 propertyJson字典中 propertyJson.update(temp) #使用continue，如果为if条件为true则循环执行if语句模块 continue else: #把行号设置为当前行 currentrow=row #把当前的属性解码放入propertyName propertyName=currentItem[3].decode("gbk") #把当前的属性值解码放入propertyName propertyValue=currentItem[4].decode("gbk") #把serviceId方式字典propertyJson中 propertyJson["serviceId"]=serviceId #把属性/值对放入propertyJson字典中 propertyJson[propertyName]=propertyValue #propertyJsonList.append(propertyJson) dataList.append(propertyJson) ''' 在这说下： propertyJson.clear()与propertyJson={}的区别： propertyJson.clear()是删除字典的值，不创建引用，会改变字典本身的值； propertyJson={}是创建新的引用，字典的中的值不发现变化； 如果想让 self.dataDic.append(propertyJson)该语句执行成功，而且添加每次循环的值， 需要使用propertyJson={}方法； 如果使用propertyJson.clear(),只会把最后一次propertyJson存储的值，添加到self.dataDic中 ''' propertyJson={} except Exception,e: logging.error("Get Property Json Error:"+e) print "Get Property Json Error:",e except Exception,e: logging.error("Get Date Error:"+e) print "Get Date Error:",e return dataList except Exception,e: logging.error("Reading Data TO Dic Error:"+e) print "Reading Data TO Dic Error:",e def getAllServiceId(self): try: dataList=self.readDataToList() serList=[item["serviceId"] for item in dataList if item["serviceId"] ] serList=list(set(serList)) return serList except Exception,e: logging.error("Create ServiceId List Error:"+e) print "Create ServiceId List Error:"+e def oupPutData(self): try: dataList=self.readDataToList() for item in dataList: print "{" for key,val in item.items(): print key,":",val print "}" print "#"*50 except Exception,e: logging.error("OutPut Data Error:"+e) print "OutPut Data Error:"+e def createDataDic(self): try: dataDic={} dataList=self.readDataToList() count=0 for item in dataList: if item["serviceId"]==u"pageview": count+=1 print count serviceIdList=self.getAllServiceId() if len(serviceIdList)>0 and len(dataList)>0: for serviceId in serviceIdList: sameServiceidJosnList=[] for item in dataList: itemServiceId=item["serviceId"<strong style="color:transparent">来源gao@daima#com搞(%代@#码网</strong>] if itemServiceId: if serviceId==itemServiceId: sameServiceidJosnList.append(item) else: print "ServiceId is null" dataDic[serviceId]=sameServiceidJosnList else: print "seriviceIdList or dataList is null" return dataDic ''' for key,val in dataDic.items(): print key,len(val) print "*"*50 for item in val: print "{" for ke,va in item.items(): print ke,":",va print "}" print "-"*50 ''' except Exception,e: print "Create Data Dictionary Error:",e def test(): gen =GenExceptData() gen.oupPutData() if __name__=="__main__": test()