本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
1、爬虫组合工具
（1）requests + BeautifulSoup
（2）requests + lxml
2、准备工作
（1）首先代码使用python3.x编写的，要有一个本地的python3环境。
python下载地址页面：https://www.python.org/downloads/release/python-370/
（2）然后要有一个开发工具，推荐PyCharm，一款很好的Python交互IDE。Python自带编译器 -- IDLE也可以。
（3）使用优质的ip代理
有免费的和收费的，这里推荐品易云http代理。
3、实例
使用requests + BeautifulSoup + select css选择器
# select method
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = 'http://news.qq.com/'
Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
em = Soup.select('em[class="f14 l24"] a')
for i in em:
title = i.get_text()
link = i['href']
print({'标题': title,
'链接': link
})
select method
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = 'http://news.qq.com/'
Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
em = Soup.select('em[class="f14 l24"] a')
for i in em:
title = i.get_text()
link = i['href']
print({'标题': title,
'链接': link
})以上就是python爬虫的使用，在爬虫工具的选择上比较丰富，大家做了基础的准备工作后，就可以正式运行代码体会了。爬虫在采集大量数据的时候，使用HTTP代理IP配合会比较便捷。希望对大家有所帮助。更多常见问题解决：爬虫
