• 技术文章 >Python技术 >Python爬虫

    爬虫时使用http代理ip的注意点

    小妮浅浅小妮浅浅2021-05-24 11:07:03原创127

    1、检查JavaScript。如果你从web服务器收到的页面是空白的,缺少信息,或者没有达到你的预期(或者不是你在浏览器中看到的),可能是因为网站创建页面的JavaScript执行有问题。

    2、检查正常浏览器提交的参数。如果您要提交表单或向网站发送开机自检请求,请记得检查页面内容,查看您要提交的每个字段是否都已填写完毕,格式是否正确。使用Chrome浏览器的network面板(快捷键F12打开开发者控制台,然后点击“Network”查看)检查发送到网站的POST命令,确保你拥有的每个参数都是正确的。

    3、是否有合法的Cookie。如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的cookie。确保在加载每个页面时正确调用cookie,并且每次发出请求时都将cookie发送到网站。

    4、IP被封禁的检测。如果用到HTTP,可以选择代理Ip。

    错误,特别是403禁止问错误,可能说明网站已经把你的IP当成了机器人,不再接受你的任何请求。你要么等着自己的IP地址从网站黑名单里去掉,要么改(可以去星巴克上网)。如果你确定自己没有被封禁,查看下面的内容。

    5、确认爬虫在网站上的速度不是特别快。快速采集是一种恶习,会对网管的服务器造成沉重的负担,还会让你陷入违法境地,切记:匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划,避免临阵慌乱。

    6、还有一件必须做的事情:修改你的请求头!有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适,就用你自己浏览器的请求头吧。

    以上就是爬虫时使用http代理ip的注意点,在爬取数据时应该避免这类情况的产生。建议结合代理ip的使用,如果大家想测试使用下,可以尝试品易云http代理ip,免费测试包含各种类ip资源,无限调用IP量!更多Python学习指路:python爬

    专题推荐:爬虫 http
    上一篇:python爬虫ip池如何实现 下一篇:如何应对网站反爬虫?

    相关文章推荐

    • 新手选择爬虫代理ip的小技巧• 如何用python爬虫获取豆瓣的书评?• 常见网站反爬虫的解决措施• python爬虫IP被限制怎么办• 浅析爬虫与http代理ip的联系• 爬虫框架的功能组成是什么• 爬虫中代理IP的常见方案• 爬虫之免费代理IP的性能分析• 分布式爬虫有哪些使用代理IP的方法?• 爬虫如何通过代理ip快速获取数据• python爬虫如何获取表情包• python异步爬虫机制的探究• python爬虫代理有哪些设置的方法• 爬虫时IP被禁的原因及解决• 浅谈爬虫代理ip对数据爬取的重要作用
    品易云

    全部评论我要评论

  • 取消发布评论发送
  • 

    Python学习网