1、什么是信息熵?
1948年香农提出了信息熵(Entropy)的概念。
信息理论:
1、从信息的完整性上进行的描述:
当系统的有序状态一致时,数据越集中的地方熵值越小,数据越分散的地方熵值越大。
2、从信息的有序性上进行的描述:
当数据量一致时,系统越有序,熵值越低;系统越混乱或者分散,熵值越高。
“信息熵” (information entropy)是度量样本集合纯度最常用的一种指标。
二、python实现信息熵的计算代码
1、导入库
1 2 |
|
2、 准备数据
1 2 3 4 5 6 7 8 9 |
|
3、定义信息熵函数
1 2 3 4 |
|
4、数据测试
1 |
|