POST从网页中获取数据,由于编码问题,出现乱码。
方法:
``` response = session.get('http://xxxx') print(response.encoding) response.encoding = 'utf-8' print(response.json()) ```
原因:
1.因为数据源的编码声明不规范,导致reuqests无法判断出返回数据的正确编码,从而使用了它的默认编码 iso8859-1 来将数据转换
为 unicode,没使用正确的编码 utf-8,于是就出现乱码了。
解决办法一就是手动设置返回数据的正确编码:response.encoding = 'utf-8'。这样结果就是正确的 unicode 类型字符串。
或者将错误的 unicode 用同样的 iso8859-1 编码转换回去原本的 utf-8 编码的 str 类型字符串:data.encode('iso8859-1')。
2.(没明白,反正就这么个意思吧。编码真是个大坑!)Python中实际上有两种字符串,分别是str类型和unicode类型,这两者都是
basestring的派生类。str实际上相当于string, 而unicode则是标准的字符串,相当于wstring。
其中I/O读入的基本都是str类型,也就是说Python不关心这些字节代表什么含义。但是如果需要做真正的字符串操作的时候,建议使用
unicode类型,这样确保不存在编码问题。
JSON理论上应该可用ASCII完全表示,其中的宽字符用类似\u1111的形式表达。但是现在有很多不规范的JSON出现,例如s="""{"标题":
"Hello, world"}"""。此时就需要你自己确定这部分内容用字节表达时,究竟用了什么编码,如果是UTF-8,那么就首
s_u=s.decode("UTF-8")变成unicode字符串。
另一方面,只要保证这段字符串的编码和Python运行时环境的编码保持一致,也是可以直接loads(str类型变量)的。例如Linux下如果
LANG是UTF-8,那么python跑着的时候就可以直接把UTF-8编码的JSON串塞进去。