python爬虫中字典dict/json/cookiejar相关操作

dict 和cookiejar互转

import requests
response = requests.get(url=url, headers=headers)

#获取cookieJar 对象
cook=response.cookies

#字典转cookiejar
requests.utils.dict_from_cookiejar(cj)
 
#cookiejar转字典
requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)

dict和json互转

• json.loads() 是将json格式字符串转为python对象

• json.dumps() python对象转json字符串

• json.dump 将python类型转json写入文件

• json.load() 读取文件json格式数据转成python类型

   import json
   1.
   data1 = {"name": "jingluo", "age": 18}
   
   print(type(str(data1)))  # 不是json类型
   >>> <class 'str'> 
   2.
   data2 = json.dumps(data1)
   print(type(data2))
   
   >>><class 'str'>     #json字符串
  
  
   3.
   with open("test.json","w",encoding="utf-8")as f:
       # f.write(str(data)) # 不是json格式
       # f.write(json.dumps(data, skipkeys=True, ensure_ascii=False))
       json.