
1、统计回归所需处理的数据量可能非常大,必要时需对文件进行拆分或合并。
2、可以用 pandas2、将 Excel 文件分割为多个文件或合并。
将 Excel 文件分割为多个文件
1 2 3 4 5 6 7 8 9 | # 将 Excel文件分割为多个文件
import pandas as pd
dfData = pd.read_excel( './example.xls' , sheetname= 'Sheet1' )
nRow, nCol = dfData.shape # 获取数据的行列
# 假设数据共有198,000行,分割为 20个文件,每个文件 10,000行
for i in range(0, int(nRow/10000)+1):
saveData = dfData.iloc[i*10000+1:(i+1)*10000+1, :] # 每隔 10,000
fileName= './example_{}.xls' .format(str(i))
saveData.to_excel(fileName, sheet_name = 'Sheet1' , index = False)
|
将多个Excel文件合并为一个文件
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | # 将多个 Excel 文件合并为一个文件
import pandas as pd
## 两个 Excel 文件合并
#data1 = pd.read_excel('./example0.xls', sheetname='Sheet1')
#data2 = pd.read_excel('./example1.xls', sheetname='Sheet1')
#data = pd.concat([data1, data2])
# 多个 Excel 文件合并
dfData = pd.read_excel( './example0.xls' , sheetname= 'Sheet1' )
for i in range(1, 20):
fileName = './example_{}.xls' .format(str(i))
dfNew = pd.read_excel(fileName)
dfData = pd.concat([dfData, dfNew])
dfData.to_excel( './example' , index = False)
|
以上就是python文件拆分与合并的方法,希望对大家有所帮助。更多Python学习指路:python基础教程
推荐操作环境:windows7系统、Python 3.9.1,DELL G3电脑。