• 技术文章 >常见问题 >Python常见问题

    用python可以下载网页源码吗

    silencementsilencement2019-09-29 14:52:10原创2408

    python可以下载网页的源代码,使用urllib库,或者使用更为方便的requests库。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    import urllib2

    def download(url, num_retries = 5):

        '''

        function: 下载网页源代码,如果遇到 5xx 错误状态,则继续尝试下载,直到下载 num_retries 次为止。

        '''

        print "downloading " , url

        try:

            html = urllib2.urlopen(url).read()

        except urllib2.URLError as e:

            print "download error: " , e.reason

            html = None

            if num_retries > 0:

                if hasattr(e,'code') and 500 <= e.code < 600:

                    return download(url, num_retries-1)

     

        return html

    其中 url 即为你想现在的网页地址。 num_reties 为遇到 5xx 错误的时候,重试下载的次数。

    更多学习内容,请点击python学习网。

    专题推荐:源码
    上一篇:python官网是什么 下一篇:python的list怎么取后几个元素

    相关文章推荐

    • python函数和c的区别有哪些• python语言中的错误有哪些• python怎么判断字符串是否包含某些字符• python如何查看内置函数

    全部评论我要评论

    © 2021 Python学习网 苏ICP备2021003149号-1

  • 取消发布评论
  • 

    Python学习网