百木园一、引言
最近在进行大创项目的结题工作，一开始的数据处理过程，是用C#处理的，想着最近在学python，就试了试用python做了下。下面来分享下我的处理流程，目前还处于初学阶段，有不足之处欢迎指点。
二、数据介绍
先看一下要处理的数据。
.
下面是具体20190101的站点数据，只列出了其中一部分。
两个文件夹分别 为19年和20年的全国气象站点数据，目标是要从这里面筛选出江苏省内的以及周边区域邻近的站点的PM2.5数据，并计算其月均值数据。我将要筛选的站点数据存储在了一个excel表格里，样式如下：（数据只截取了一小部分）
三、数据处理
既然要筛选数据，那第一步就是将需要的站点编码读取出来。简单介绍下我的数据处理流程，读取目标站点，筛选天小时数据，计算日均值，计算月均值。
1.读取站点编码
站点存储在excel文件里，因此要使用python来操作excel文件，这里我引用了openpyxl，下面是处理的代码（跳转至完整代码）
第一步导入openpyxl，
import openpyxl as xl
使用openpyxl库的load_workbook()来获得存储站点的excel文件
wb = xl.load_workbook(filename)
因为数据都是存储在工作簿的表里的，因此我们要获得工作簿里的表，也就是Sheet1，
sheet = wb[\'Sheet1\']
在开始读数据前，先定义一个用于存储站点数据的列表，这里我定义的初始列表里有两个值，\'date\'，\'hour\'，这两个值用来标识所读取的PM2.5的数据的生产时间。
station_id = [\'date\', \'hour\']
下面是开始读数据，遍历sheet1的每一行，将数据存储在station_id里，
for row in range(2, sheet.max_row+1): cell = sheet.cell(row, 2) station_id.append(cell.value)
因为我这里存放目标站点编号的表格里存在多个空行，因此会station_id的后面会存放很多None(excel里的单元格为空的话就是None)
于是需要把station_id里的多余的None去除
if(None in station_id): index = station_id.index(None) del station_id[index:]
将上面的代码封装在一个函数里，完整代码如下:
import openpyxl as xl \'\'\' 获得站点坐标，此处是以站点存储在excel里为例，并且是存放在一列,且是在第2列 \'\'\' def get_station_id(filename): # 获得路径对应的工作簿 wb = xl.load_workbook(filename) # 获得工作簿里的表 sheet = wb[\'Sheet1\'] # 定义一个存储站点的数据列表 station_id = [\'date\', \'hour\'] # 遍历表，将站点信息存储在list里 for row in range(2, sheet.max_row+1): cell = sheet.cell(row, 2) station_id.append(cell.value) # 删除id_list中的空数据，因为有可能最大行数会超过excel的实际数据行数 if(None in station_id): index = station_id.index(None) del station_id[index:] return station_id
以上代码我单独放在了get_station_id.py文件里
2.筛选目标站点的数据
简单说下处理流程，先是获得存放上面两个csv文件夹的文件夹，也叫父级路径，再获得文件夹下的所有csv文件（这一步要尽量保证没有其他csv文件），最后是遍历读取需要的数据并写入一个csv，存放着天小时的目标站点的PM2.5数据。（跳转至完整代码）
第一步，通过pathlib的Path来获得父级路径。导入pathlib 下的Path类，以及接下来要进行处理csv文件所需的csv库
from pathlib import Path import csv
获得存放csv文件夹的路径，并定义一个要存放数据的csv文件路径，
csv_dir = Path(r\'F:\\College\\FileRecv\\大创项目\\站点数据201901-202012\') target = r\'F:\\College\\FileRecv\\大创项目\\19-20-hours.csv\'
获得路径下的所有csv文件
csv_list = list(csv_dir.rglob(\'*.csv\'))
定义一个写入流，做好写入数据的准备，这里用dictwriter的写入方法，是因为在要处理的数据文件中，有的站点在某一年或某几个月中并不存在，这样处理更为准确方便。
with open(target, \'w\', newline=\'\') as out_file:
writer = csv.DictWriter(out_file, fieldnames=station_id)
接下来是写入列头，将station_id写入要存放数据的csv（target）的第一行:
writer.writeheader()
遍历读取站点csv文件，筛选数据写入target，
for filename in csv_list: with open(filename, \'r\') as file: # 将行数据映射到字典 reader = csv.DictReader(file) for row in reader: # 判断当前数据是否是PM2.5 if row[\'type\'] == datatype: # 查找对应station_id的数据，并存储在一个list里 # data = {} # for id in station_id: # if id in row: # data[id] = row[id] data = {id: row[id] for id in station_id if id in row} writer.writerow(data)
这一步数据处理成功，我将其封装在一个方法里，完整代码如下：
from pathlib import Path import csv import get_station_id
# \"\"\" 获得指定站点编号的数据，并写入一个csv文件 输入的参数分别是 csv_dir----csv文件所在的目录的路径， 以及要写到目标文件的路径 target station_id 站点编号 \"\"\" def get_write_from_csv(csv_dir, target, station_id=[\'date\', \'hour\', \'1141A\'], datatype=\'PM2.5\'): # 判断路径是否正确 if not csv_dir.is_dir(): return # 获得路径下所有的csv文件 csv_list = list(csv_dir.rglob(\'*.csv\')) with open(target, \'w\', newline=\'\') as out_file: writer = csv.DictWriter(out_file, fieldnames=station_id) # 写入头，station_id writer.writeheader() # 遍历csv文件并选择数据写入target for filename in csv_list: with open(filename, \'r\') as file: # 将行数据映射到字典 reader = csv.DictReader(file) for row in reader: # 判断当前数据是否是PM2.5 if row[\'type\'] == datatype: # 查找对应station_id的数据，并存储在一个list里 # data = {} # for id in station_id: # if id in row: # data[id] = row[id] data = {id: row[id] for id in station_id if id in row} writer.writerow(data) print(\'successed\') csv_dir = Path(r\'F:\\College\\FileRecv\\大创项目\\站点数据201901-202012\') target = r\'F:\\College\\FileRecv\\大创项目\\19-20-hours.csv\' # 存放着stationID的excel文件 filename = r\'F:\\College\\FileRecv\\大创项目\\1920.xlsx\' # 获得stationid station_id = get_station_id.get_station_id(filename) get_write_from_csv(csv_dir, target, station_id)
3.对已筛选的数据进行计算日均值
观察一下数据构成，发现可以通过date这一列进行分组来进行计算日均值。（跳转至完整代码）
谈到分组就想到了pandas的groupby函数，要得到日均值只要按date这列分组就行了，首先导入需要的库，
import pandas as pd import numpy as np
读取已筛选好的csv数据
df=pd.read_csv(r\'F:\\College\\FileRecv\\大创项目\\target.csv\')
将读取到的数据按date分组
day_group=df.groupby(\'date\')
可以用下面的代码查看一下分组的结果，
for date,group in day_group: print(date) print(group)
接下来是对分组进行聚合求平均,并查看下聚合的结果
data=day_group.agg(np.mean) print(data)
发现hour这列也被求平均了，这一列在接下来的处理中是不需要的，因此将它删去。
day_data=data.drop(\'hour\',axis=\'columns\')
将删去后的数据写入daydata.csv(存储日均值数据)
day_data.to_csv(\'daydata.csv\')
完整代码如下:
import pandas as pd import numpy as np df=pd.read_csv(r\'F:\\College\\FileRecv\\大创项目\\target.csv\') day_group=df.groupby(\'date\') data=day_group.agg(np.mean) day_data=data.drop(\'hour\',axis=\'columns\') day_data.to_csv(\'daydata.csv\')
4.计算月均值
对处理好的日均值数据来求月均值，首先是要将数据按月来归类，简单讲下我的思路，首先将数据按年分开分为19年和20年的数据。再对19和20年的数据按月分类聚合求均值。（跳转至完整代码）
第一步，按年分割数据，
df=pd.read_csv(\'daydata.csv\') # 年份区开数据 data2019=df[df[\'date\']<=20191231] data2020=df[df[\'date\']>=20200101]
第二步，对各年的按月分类聚合求均值。考虑到date这列的数据类型是数字，可以通过按条件筛选属于某一月的数据，
def get_month_data(data,month_start,month_end): month=data[(data[\'date\']<month_end)&(data[\'date\']>=month_start)] # 这里聚合操作也将日期进行聚合了 return month.agg(np.mean)
第三步，获得某年的月均值数据，并写入csv文件。考虑到0101到0201之间差了100，（实际上两个月之间最多只差31天）设置了步长为100的形式来获得月均值，
def write_month_data(year_data,outfilename,month_start=20190101,step=100): month_list=[] # 获得每月均值数据，并添加到list里 for num in range(12): month_data=get_month_data(year_data,month_start,month_start+step) month_list.append(month_data) month_start+=step # 将list生成dataframe df=pd.DataFrame(month_list) # 修改日期格式为201901这种年加月形式 df[\'date\']=df[\'date\'].apply(lambda x: int(x/100)) df.to_csv(outfilename)
下面是完整的代码
import pandas as pd import numpy as np df=pd.read_csv(\'daydata.csv\') # 年份区开数据 data2019=df[df[\'date\']<=20191231] data2020=df[df[\'date\']>=20200101] # data2020.agg(np.mean) def get_month_data(data,month_start,month_end): month=data[(data[\'date\']<month_end)&(data[\'date\']>=month_start)] # 这里聚合操作也将日期进行聚合了 return month.agg(np.mean) def write_month_data(year_data,outfilename,month_start=20190101,step=100): month_list=[] # 获得每月均值数据，并添加到list里 for num in range(12): month_data=get_month_data(year_data,month_start,month_start+step) month_list.append(month_data) month_start+=step # 将list生成dataframe df=pd.DataFrame(month_list) # 修改日期格式为201901这种年加月形式 df[\'date\']=df[\'date\'].apply(lambda x: int(x/100)) df.to_csv(outfilename) month_start2019=20190101 month_start2020=20200101 step=100 #因为20190101-20190201=-100 write_month_data(data2019,\'19month.csv\',month_start2019,step) write_month_data(data2020,\'20month.csv\',month_start2020,step)
结果图:
结语:以上就是我使用python处理数据的全流程了，作为一个python新手，如有错误还请指点，感谢大家花费宝贵的时间来阅读。
来源：https://www.cnblogs.com/madaao/p/16214692.html
本站部分图文来源于网络，如有侵权请联系删除。