python爬虫

• Python基础知识
• Python中urllib和urllib2库的用法
• Python正则表达式
• Python爬虫框架Scrapy
• Python爬虫更高级的功能

• 1.分分钟扒一个网页下来

  
  
• 
  
• 第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
  
• 3.构建Request(注意：Request首字母为大写)
• 
  
• 4.post与get数据传送
• post形式
• 
  
• get形式
• 
  
• agent
• agent就是请求的身份，如果没有写入请求身份，那么服务器不一定会响应，所以可以在headers中设置agent,例如下面的例子，这个例子只是说明了怎样设置的headers，小伙伴们看一下设置格式就好。
  
• 
  

• 这样，我们设置了一个headers，在构建request时传入，在请求时，就加入了headers传送，服务器若识别了是浏览器发来的请求，就会得到响应。

  另外，我们还有对付”反盗链”的方式，对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer

  例如我们可以构建下面的headers

• 
  

• 同上面的方法，在传送请求时把headers传入Request参数里，这样就能应付防盗链了。

  另外headers的一些属性，下面的需要特别注意一下：

• User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求

• Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。
         application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用
         application/json ： 在 JSON RPC 调用时使用
        application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用
        在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务
  

• 其他的有必要的可以审查浏览器的headers内容，在构建时写入同样的数据即可。
  

• 2. Proxy（代理）的设置

  
  

• 3.Timeout 设置

  
  

• 
  

  4.使用 HTTP 的 PUT 和 DELETE 方法

  http协议有六种请求方法，get,head,put,delete,post,options，我们有时候需要用到PUT方式或者DELETE方式请求。
  

• 
  

• Python爬虫入门五之URLError异常处理

  
  

•        本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。
  
• 
  
• 
  
•