业内常说数据决定了模型效果的上限,机械学习算法通过数据特征进行预测,良好的特征可以显着提高模型效果。这意味着通过特征生成(即从数据设计中加工模型的可用特征)是特征工程的重要一步。
一、特征生成作用
1、增加特征的表达能力,提升模型效果;
(如体重除以身高就是表达健康情况的重要特征,而单纯看身高或体重对健康情况表达就有限。)
2、可以融入业务上的理解设计特征,增加模型的可解释性。
二、特征生成方法
1、聚合方式
对存在一对多的字段,将其对应多条记录分组聚合后统计平均值、计数、值等数据特征。
# 自定义分组聚合统计函数 def x2_sum(group): return sum(group**2) df.groupby('cust_no').C1.apply(x2_sum)
2、转换方式
对字段间做加减乘除等运算生成数据特征的过程,对不同字段类型有不同转换方式。