Sunflower_ding的博客

Robots协议：网络爬虫排除标准 作用：声明哪些可以爬虫，那些不能 形式：存储在网络根目录robots.txt

Requests库入门 安装：在命令提示符中输入 pip install requests 然后回车等待 #IDLE 爬取百度界面 >>> import requests >>> r = requests.get("http://www.baidu.com") >>> r.status_code 200 >>> r.encoding = 'utf-8' >>> r.text 七个主要方法： r = req.