Catcheryp的博客

import requests import re import sys reload(sys) sys.setdefaultencoding("gb18030") type = sys.getfilesystemencoding() headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, l

这里要注意到网页异步加载的问题，在代码中切换page，可得到不同公司的信息 import requests import re url = 'https://www.crowdfunder.com/browse/deals&template=false' # html = requests.get(url).text # print html data = { 'entities_o

import urllib2 import re req=urllib2.urlopen('http://www.imooc.com/course/list') buf=req.read() listurl =re.findall(r'http:.+\.jpg',buf) print listurl i=1 for url in listurl: f=open(str(i)+'.jpg',

这里极客学院的网站可能升级了所以爬不到应该会得到的结果了，就当实例看一下就行 #-*_coding:utf8-*- import requests import re import sys reload(sys) sys.setdefaultencoding("utf-8") class spider(object): def __init__(self): print

可以成功的爬取我室友的微博首页 #-*-coding:utf8-*- import requests from lxml import etree cook = {"Cookie": "此处请填写你获取到的Cookie"} url = 'http://weibo.cn/u/xxxxxxxx' #此处请修改为微博网址 # html = requests.get(url).content # p

用cookie模拟新浪微博登录，可以对某人新浪微博是否更新进行实时的邮件监控 #-*-coding:utf8-*- import smtplib from email.mime.text import MIMEText import requests from lxml import etree import os import time import sys reload(sys) sys.