Get请求和Post请求


使用 GET 方式抓取数据

请求对象是www.cntour.cn,请求方式是GET(所有在源码中的数据请求方式都是GET)

确定好请求对象和方式后,在 PyCharm 中输入以下代码:

import requests        #导入requests包
url = 'http://www.cntour.cn/'
strhtml = requests.get(url)        #Get方式获取网页数据
print(strhtml.text)

加载库使用的语句是 import+库的名字。在上述过程中,加载 requests 库的语句是:import requests。

用 GET 方式获取数据需要调用 requests 库中的 get 方法,使用方法是在 requests 后输入英文点号,如下所示:

requests.get

将获取到的数据存到 strhtml 变量中,代码如下:

strhtml = request.get(url)

这个时候 strhtml 是一个 URL 对象,它代表整个网页,但此时只需要网页中的源码,下面的语句表示网页源码:

strhtml.text

使用 POST 方式抓取数据

准备

首先输入有道翻译的网址:http://fanyi.youdao.com/,进入有道翻译页面。

按快捷键 F12,进入开发者模式,单击 Network,此时内容为空

2-1Z11G64ZU55.jpg

在有道翻译中输入“我爱中国”,单击“翻译”按钮

2-1Z11G6492K96.jpg

在开发者模式中,依次单击“Network”按钮和“XHR”按钮,找到翻译数据

2-1Z11G6494Y00.jpg

单击 Headers,发现请求数据的方式为 POST。

找到数据所在之处并且明确请求方式之后,接下来开始撰写爬虫。

爬取

首先,将 Headers 中的 URL 复制出来,并赋值给 url,代码如下:

url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

POST 的请求获取数据的方式不同于 GET,POST 请求数据必须构建请求头才可以。

Form Data 中的请求参数如图 15 所示:

2-1Z11GA041451.jpg

将其复制并构建一个新字典:

From_data={'i':'我愛中國','from':'zh-CHS',
'to':'en','smartresult':'dict','client':'fanyideskweb',
'salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604',
'ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e',
'doctype':'json','version':'2.1','keyfrom':'fanyi.web',
'action':'FY_BY_REALTIME','typoResult':'false'}

接下来使用 requests.post 方法请求表单数据,代码如下:

import requests        #导入requests包
response = requests.post(url,data=payload)

将字符串格式的数据转换成 JSON 格式数据,并根据数据结构,提取数据,并将翻译结果打印出来,代码如下:

import json
content = json.loads(response.text)
print(content['translateResult'][0][0]['tgt'])

使用 requests.post 方法抓取有道翻译结果的完整代码如下:

import requests        #导入requests包
import json
def get_translate_date(word=None):
    url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
    From_data={'i':word,'from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}
    #请求表单数据
    response = requests.post(url,data=From_data)
    #将Json格式字符串转字典
    content = json.loads(response.text)
    print(content)
    #打印翻译后的数据
    #print(content['translateResult'][0][0]['tgt'])
if __name__=='__main__':
    get_translate_date('我爱中国')