Python爬虫之怼破反爬虫机制

一、准备

• 先要准备一个浏览器，然后会解析头，当然，其他软件（如burpsuit也行）。
• 然后选择一个网站。

二、正式开始

1. 选好了网站：
   2. 我们尝试直接用普通的代码爬一下：

from bs4 import BeautifulSoup
import requests
import urllib
def main():
    result = requests.get("https://www.xxxxx.com/jobs/list_?px=new&gx=%E5%AE%9E%E4%B9%A0&gj=&xl=%E6%9C%AC%E7%A7%91&hy=%E"
                          "7%A7%BB%E5%8A%A8%E4%BA%92%E8%81%94%E7%BD%91&isSchoolJob=1&city=%E5%85%A8%E5%9B%BD#filterBox"
                         )

    print result.content

if  __name__=="__main__":
    main()

的出来的结果是3. 很遗憾，爬不出来，这是因为