• 技术文章 >Python技术 >Python高级

    巧用Python字典处理索引统计

    PythonPython2019-06-14 10:08:49原创3564
    索引引擎的基本工作原理便是倒排索引, 即将一个文档所包含的文字反过来映射至文档; 这方面算法并没有太多花样可言, 为了增加效率, 索引数据尽可往内存里面搬。

    而基本思路举个简单例子, 现在有以下文档 (分词已经完成) 以及其包含的关键词:

    doc_a: [word_w, word_x, word_y]
    doc_b: [word_x, word_z]
    doc_c: [word_y]

    将其变换为

    word_w -> [doc_a]
    word_x -> [doc_a, doc_b]
    word_y -> [doc_a, doc_c]
    word_z -> [doc_b]

    写成 Python 代码, 便是

    doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
    doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
    doc_c = {'id': 'c', 'words': ['word_y']} 
      
    docs = [doc_a, doc_b, doc_c] 
    indices = dict() 
      
    for doc in docs: 
      for word in doc['words']: 
        if word not in indices: 
          indices[word] = [] 
        indices[word].append(doc['id']) 
      
    print indices

    不过这里有个小技巧, 就是对于判断当前词是否已经在索引字典里的分支

    if word not in indices: 
      indices[word] = []

    可以被 dict 的 setdefault(key, default=None) 接口替换. 此接口的作用是, 如果 key 在字典里, 那么好说, 拿出对应的值来; 否则, 新建此 key , 且设置默认对应值为 default . 但从设计上来说, 我不明白为何 default 有个默认值 None , 看起来并无多大意义, 如果确要使用此接口, 大体都会自带默认值吧, 如下

    for doc in docs: 
      for word in doc['words']: 
        indices. setdefault(word, []) .append(doc['id'])

    这样就省掉分支了, 代码看起来少很多.

    不过在某些情况下, setdefault 用起来并不顺手: 当 default 值构造很复杂时, 或产生 default 值有副作用时, 以及一个之后会说到的情况; 前两种情况一言以蔽之, 就是 setdefault 不适用于 default 需要惰性求值的场景. 换言之, 为了兼顾这种需求, setdefault 可能会设计成

    def setdefault(self, key, default_factory): 
      if key not in self: 
        self[key] = default_factory() 
      return self[key]

    倘若真如此, 那么上面的代码应改成

    for doc in docs: 
      for word in doc['words']: 
        indices.setdefault(word, list ).append(doc['id'])

    不过实际上有其它替代方案, 这个最后会提到.

    如果说上面只是一个能预见但实际上可能根本不会遇到的 API 缺陷, 那么下面这个就略打脸了.

    考虑现在要进行词频统计, 即一个词在文章中出现了多少次, 如果直接拿 dict 来写, 大致是

    def word_count(words): 
      count = dict() 
      for word in words: 
        count.setdefault(word, 0) += 1
      return count 
      
    print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

    当你兴致勃勃地跑起上面代码时, 代码会以迅雷不及掩脸之势把异常甩到你鼻尖上 --- 因为出现在 += 操作符左边的 count.setdefault(word, 0) 在 Python 中不是一个左值. 怎样, 现在开始念叨 C艹 类型体系的好了吧.

    因为 Python 把默认的字面常量 {} 等价于 dict() 就认为 dict 是银弹的思想是要不得的; Python 里面各种数据结构不少, 解决统计问题, 理想的方案是 collections.defaultdict 这个类. 下面的代码想必看一眼就明白

    from collections import defaultdict 
      
    doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
    doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
    doc_c = {'id': 'c', 'words': ['word_y']} 
      
    docs = [doc_a, doc_b, doc_c] 
    indices = defaultdict(list) 
      
    for doc in docs: 
      for word in doc['words']: 
        indices[word].append(doc['id']) 
      
    print indices 
      
    def word_count(words): 
      count = defaultdict(int) 
      for word in words: 
        count[word] += 1
      return count 
      
    print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

    完满解决了之前遇到的那些破事.

    此外 collections 里还有个 Counter , 可以粗略认为它是 defaultdict(int) 的扩展.

    专题推荐:python
    上一篇:Python中自定义异常的使用举例 下一篇:Python中怎么像PS一样处理图像

    相关文章推荐

    • 详解Python中的JSON编码模块• Python代码中怎么读取键盘录入的值

    全部评论我要评论

    © 2021 Python学习网 苏ICP备2021003149号-1

  • 取消发布评论
  • 

    Python学习网