python 模拟抓取手机访问页面内容今天

以前涉及到python定向蜘蛛均是针对网页版，前天有一版需要与手机上访问一致（注：同一url地址在手机上和PC上搜索是不一样的内容）,所以需要将蜘蛛的改成手机的

其实只是设置user-agent即可，也没那么麻烦的

 

import sys, urllib2

import urllib

from urllib2 import Request, urlopen,URLError, HTTPError

from urllib import quote

def fetchurl(url):

   req=urllib2.Request(url,None)

   req.add_header("User-Agent","Mozilla/5.0 (Linux;U;Android 2.3;en-us;Nexus One Build/FRF91)AppleWebKit/999+(KHTML, like Gecko)Version/4.0 Mobile Safari/999.9")

   f=urllib2.urlopen(req)

   return f.read()

 

def test():

   try:

       print fetch("http://blog.youkuaiyun.com/timegoesby001")

   except Exception,e:

       print e

   

if __name__=="__main__":

   test()