• 技术文章 >Python技术 >Python基础教程

    python实现信息熵的计算代码

    宋雪维宋雪维2021-02-22 17:22:45原创11361

    1、什么是信息熵?

    1948年香农提出了信息熵(Entropy)的概念。

    信息理论:

    1、从信息的完整性上进行的描述:

    当系统的有序状态一致时,数据越集中的地方熵值越小,数据越分散的地方熵值越大。

    2、从信息的有序性上进行的描述:

    当数据量一致时,系统越有序,熵值越低;系统越混乱或者分散,熵值越高。

    “信息熵” (information entropy)是度量样本集合纯度最常用的一种指标。

    二、python实现信息熵的计算代码

    1、导入库

    1

    2

    import numpy as np

    import pandas as pd

    2、 准备数据

    1

    2

    3

    4

    5

    6

    7

    8

    9

    data = pd.DataFrame(

        {'学历': ['专科', '专科', '专科', '专科', '专科', '本科', '本科', '本科', '本科', '本科',

         '研究生', '研究生', '研究生', '研究生', '研究生'],

         '婚否': ['否', '否', '是', '是', '否', '否', '否', '是', '否', '否', '否', '否', '是', '是', '否'],

         '是否有车': ['否', '否', '否', '是', '否', '否', '否', '是', '是', '是', '是', '是', '否', '否',

         '否'],

         '收入水平': ['中', '高', '高', '中', '中', '中', '高', '高', '很高', '很高', '很高', '高', '高',

         '很高', '中'],

         '类别': ['否', '否', '是', '是', '否', '否', '否', '是', '是', '是', '是', '是', '是', '是', '否']})

    3、定义信息熵函数

    1

    2

    3

    4

    # 定义计算信息熵的函数:计算Infor(D)

    def infor(data):

        a = pd.value_counts(data) / len(data)

        return sum(np.log2(a) * a * (-1))

    4、数据测试

    1

    # print(infor(data["学历"]))   #测试结果为: 1.584962500721156

    专题推荐:python基础
    上一篇:python中合并表格的两种方法 下一篇:python中如何实现信息增益和信息增益率

    相关文章推荐

    • python带参数的装饰器怎么写?• python中如何获取当前文件的部分信息?• python中合并表格的两种方法

    全部评论我要评论

    © 2021 Python学习网 苏ICP备2021003149号-1

  • 取消发布评论
  • 

    Python学习网