数据的探索和清洗
1、读取Excel文件的数据并转换为dataframe
1 2 3 4 | # 1.读取Excel文件的数据并转换为dataframe
file = "d:/test/Summary/Data_Summary.xlsx"
data_raw = pd.read_excel(file, header=0, index_col=0)
# header设定为0：是为了使第1行的数据成为列的字段名
|
2、查看数据集的整体状态，了解基本特征列的情况
3、删除无效的数据列
1 2 3 | remove_col = ["序号"]
data_prep0 = data_raw.drop(columns=remove_col, axis=1, inplace=None)
data_prep0.head()
|
4、查看数据集的整体信息，了解缺失值的分布情况
5、检看数据集中缺失值的状态并删除缺失值
1 2 | data_prep = data_prep0.dropna(subset=["产品"], axis=0)
data_prep.info()
|
6、检查数据集中重复值的状态并删除重复值
1 2 3 | print("数据集中的重复值数量：", np.sum(data_prep.duplicated()))
# 如果重复值的数量不为"0", 则表示有重复值存在，可使用下列代码删除
# data_prep.drop_duplicates(keep="first", inplace=True)
|
宋雪维2021-02-23 15:14:41原创2458
