Python爬虫开发（1）

环境准备

pip
Virtualenv
pip freeze

pip install virtualenv
pip install requests
import requests
pip install gunicorn httpbin
gunicorn httpbin:app

source .env/bin/active 

urllib、urllib2、urllib3三者相互独立，requests库中使用了urllib3

例程

import urllib
URL_IP=http://local://127.0.0.1

def use_simple_urllib2():
    request = urllib2.urlopen(URL_IP)
    print()
#...
#代码不完整，初学，还不会，留待后补

HTTP协议原理

Curl -v http://www.baidu.com

GET /HTTP /1.1
HOST :
User-Agent
Accept : */*

Headers
key:value