1、网络爬虫一般分为以下两个阶段，先URL库初始化，然后开始爬行。
2、爬虫读取未访问的URL，确定其工作范围。
对于要抓取的URL，具体步骤如下:
(1)获取URL链接；
(2)分析内容，获取URLj~相关数据；
(3)存储有价值的数据；
(4)标准化新抓取的RL；
(5)过滤无关URL；
(6)将要抓取的URL更新到URL库；
(7)重复步骤2，直到终止。
以上就是使用爬虫的方法，为了方便大家的记忆，我们可以把使用爬虫的过程分为URL的初始化和抓取的范围，大家学会后赶快试着去获取一些自己想要的数据吧。在使用爬虫时结合代理ip是不错的选择，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
