Python在request与scrapy设置代理ip教程

1. 使用Requests库设置代理IP
1.1 安装Requests库
首先，确保已经安装了Requests库。如果尚未安装，可以通过以下命令进行安装：
pip install requests

1.2 使用代理IP发送请求
使用代理IP发送请求的关键在于设置proxies参数。以下是一个简单的例子：
import requests

url = 'http://example.com'
proxy = {'http': 'http://your_proxy_ip:port', 'https': 'https://your_proxy_ip:port'}

response = requests.get(url, proxies=proxy)

print(response.text)

替换your_proxy_ip和port为实际的代理IP和端口。这将使Requests通过指定的代理IP发送HTTP请求。
2. 使用Scrapy框架设置代理IP
2.1 安装Scrapy
如果还没有安装Scrapy，可以使用以下命令进行安装：
pip install scrapy

2.2 在Scrapy项目中配置代理IP
在Scrapy项目的settings.py文件中，添加如下配置：
# settings.py

DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1,
'your_project_name.middlewares.ProxyMiddleware': 100,
}

PROXY_LIST = [
'http://your_proxy_ip:port',
'https://your_proxy_ip:port',
]

其中，your_project_name是你的Scrapy项目的名称。这个配置将启用代理中间件，并指定代理IP列表。
2.3 编写代理中间件
在Scrapy项目中创建一个中间件文件，例如middlewares.py，并添加以下代码：
# middlewares.py

from scrapy import signals
from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware
import random

class ProxyMiddleware(HttpProxyMiddleware):
def process_request(self, request, spider):
request.meta['proxy'] = random.choice(spider.settings.get('PROXY_LIST'))

这个中间件将从配置的代理IP列表中随机选择一个代理IP，并将其应用于请求。
通过上述步骤，你可以在Python中使用Requests和Scrapy设置代理IP，提高爬虫的稳定性和可靠性。请注意，使用代理IP爬取网页数据需要遵守相关法律法规和网站的使用协议，以确保合法合规的数据采集行为。