python之爬虫

• get cookie

  res = requests.post(url=url, data=data, headers=headers[, allow_redirects=False])
  cookie = requests.utils.dict_from_cookiejar(res.cookies)
  

• 302（重定向）：请求的url为真实的url，header中的referer为重定向之前的url
• 会话保持

  session = requests.Session()
  session.get(url)
  session.post(url=url, data=data, headers=headers)
  session.close()
  

• 依赖包
  • 当前环境全部安装包：pip freeze > ./requirements.txt
  • 当前项目安装包：pip install pipreqs & cd project_root_path & pipreqs ./
• FAQ
  • SSLroutiness, ssl3_read_bytes, sslv3 alter handshake failure：
    • 方案一：使用requests的同时，增加如下代码。此解决方案的条件
      • os：windows10
      • python：2.7.18
      • requests：2.23.0

      import requests.packages.urllib3.util.ssl_
               
      requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS = 'ALL'
      

  • python2 pyinstaller error: no module named

    "D:\Program Files (x86)\python2.7\Scripts\pyinstaller.exe" -F -p utils --hidden-import utils.load_db --hidden-import utils.read_config run.py