• 技术文章 >Python技术 >Python基础教程

    python scrapy数据建模的作用

    小妮浅浅小妮浅浅2021-07-14 15:47:14原创179

    说明

    1、定义item就是提前计划好哪些字段需要抓取,防止手误,因为定义好之后,系统会在运行过程中自动检查。

    2、配置注释可以清楚地知道要抓取哪些字段。没有定义的字段不能抓取,目标字段少的时候可以用字典代替。

    3、使用scrapy的某些特定组件需要Item支持,例如scrapy的ImagesPipeline管道类。

    实例

    class MyspiderItem(scrapy.Item):
        name = scrapy.Field()   # 讲师的名字
        title = scrapy.Field()  # 讲师的职称
        desc = scrapy.Field()   # 讲师的介绍

    以上就是python scrapy数据建模的作用,希望对大家有所帮助。更多Python学习指路:python基础教程

    专题推荐:python scrapy
    品易云
    上一篇:python如何查看hdf5文件 下一篇:python scrapy如何建模

    相关文章推荐

    • python函数嵌套调用的实现• python局部变量的生命周期理解• python全局变量的使用注意• python缺省参数的使用注意• python多值参数是什么• Python 3.10 beta 4发布,即将迎来RC阶段• python字符串对齐的三种方法• python字符串大小写转换的3种函数• python如何删除字符串的特殊字符• python两种数据类型的转换• python可变参数的两种传递方式• python import的本质探究• python Series如何进行相加• python如何查看Series的NaN• python如何查看hdf5文件

    全部评论我要评论

  • 取消发布评论
  • 

    Python学习网