• 技术文章 >Python技术 >Python基础教程

    python中如何实现信息增益和信息增益率

    宋雪维宋雪维2021-02-22 17:28:54原创4226

    一、信息增益与信息增益率

    1、信息增益

    以某特征划分数据集前后的熵的差值。熵可以表示样本集合的不确定性,熵越大,样本的不确定性就越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划分效果的好坏。

    信息增益 = entroy(前) - entroy(后)

    注意:信息增益表示得知特征X的信息而使得类Y的信息熵减少的程度

    2、信息增益率

    增益率是用前面的信息增益Gain(D, a)和属性a对应的"固有值"(intrinsic value) [Quinlan , 1993J的比值来共同定义的。

    二、信息增益与信息增益率python代码实现

    1、信息增益定义计算信息增益的函数:计算g(D|A)

    1

    2

    3

    4

    5

    6

    7

    8

    def g(data, str1, str2):

        e1 = data.groupby(str1).apply(lambda x: infor(x[str2]))

        p1 = pd.value_counts(data[str1]) / len(data[str1])

        # 计算Infor(D|A)

        e2 = sum(e1 * p1)

    return infor(data[str2]) - e2

    print("学历信息增益:{}".format(g(data, "学历", "类别")))

    # 输出结果为:学历信息增益:0.08300749985576883

    2、信息增益率定义计算信息增益率的函数:计算gr(D,A)

    1

    2

    3

    4

    5

    6

    def gr(data, str1, str2):

        return g(data, str1, str2) / infor(data[str1])

     

     

    print("学历信息增益率:", gr(data, "学历", "类别"))

    # 输出结果为:学历信息增益率: 0.05237190142858302

    专题推荐:python基础
    上一篇:python实现信息熵的计算代码 下一篇:python中OpenCV调节亮度

    相关文章推荐

    • python检测给定的路径是否存在的方法• python带参数的装饰器怎么写?• python中合并表格的两种方法• python实现信息熵的计算代码

    全部评论我要评论

    © 2021 Python学习网 苏ICP备2021003149号-1

  • 取消发布评论
  • 

    Python学习网