Python | 关于Requests与Json的使用小结

前言

在学习Scrapy爬虫的过程中，发现需要总结一些东西来避免自己遗忘。这是咸鱼的第19篇原创。

requests小结

requestse基本使用

关于requests基本使用方法参照中文版参考文档： http://docs.python-requests.org/zh_CN/latest/index.html

response.text 和response.content的区别

 response.text 类型：str 解码类型：?根据HTTP?头部对响应的编码作出有根据的推测，推测的文本编码 如何修改编码方式：response.encoding=”gbk”  response.content 类型：bytes 解码类型：没有指定 如何修改编码方式：response.content.deocde(“utf8”)  更推荐使用response.content.deocde()的方式获取响应的html页面  

requests使用代理

 requests.get("http://HdhCmsTestbaidu测试数据",?proxies?=?proxies) proxies?=?{? ????"http":?"http://12.34.56.79:9527",? ????"https":?"https://12.34.56.79:9527",? ????}  

代理的基本原理

代理的基本原理 正向代理与反向代理

正向代理：浏览器明确知道要访问的是什么服务器，只不过目前无法达到，需要通过代理来帮助完成这个请求操作。

反向代理：浏览器不知道任何关于要请求的服务器的信息，需要通过Nginx请求。

requests模拟登录的3种方法

实例化session，使用session发送post/get请求登录后的页面

 session?=?requests.session() response?=?session.get(url,headers)  

在headers中添加cookie键，值为cookie字符串

在请求方法中添加cookie参数，接收字典形式的cookie

cookie和session区别

cookie数据存放在客户的浏览器上，session数据放在服务器上

cookie不是很安全，别人可以分析存放在本地的cookie并进行cookie欺骗

session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能

单个cookie保存的数据不能超过4K，很多浏览器都限制一个站点最多保存20个cookie

requests的几个小技巧(我认为的)

 #把cookie对象转化为字典 reqeusts.util.dict_from_cookiejar?? #把字典转化为cookie对象 reqeusts.util.cookiejar_from_dict #url解码 reqeusts.util.unquote()? #url编码 reqeusts.util.quote()?? #忽略SSL证书验证 response?=?requests.get("https://HdhCmsTest12306.cn/mormhweb/?",?verify=False)?? #请求https的网站忽略SSL证书验证之后还是会出现警告信息，在请求前加上下面这句就可以禁用安全请求警告 #InsecureRequestWarning:?Unverified?HTTPS?request?is?being?made.?Adding?certificate?verification?is?strongly?advised.?See:?https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings?InsecureRequestWarning） requests.packages.urllib3.disable_warnings()  

json小结

json的基本使用

 json.loads()?#json字符串转化为python数据类型 json.dumps()?#python数据类型转化为json字符串 json.load()??#包含json的类文件对象转化为python数据类型 json.dump()??#python数据类型转化为包含json的类文件对象  

什么是类文件对象？

具有read()或者write()方法的对象就是类文件对象， f =open(‘a.txt’,‘r’) f 就是类文件对象

如何优雅的查看json?

json文件出现中文乱码： ensure_ascii=False json、字典格式化输出：? indent=2 json格式化打印：? 使用pprint 使用前需要 pip install pprint 安装

pprint效果图

咸鱼普拉思

一只咸鱼在编程路上的摸爬滚打,记录摸索中的点点滴滴。

查看更多关于Python | 关于Requests与Json的使用小结的详细内容...