网络爬虫，python和数据分析学习--part2

Created on Tue Oct 10 10:47:31 2017
本段程序为科大王澎老师《网络爬虫，python和数据分析》中P15，针对spyder3做了微调
主要任务：实现了自动抓取多网页
@author:
“””
import re
import urllib.request
import pymysql
from bs4 import BeautifulSoup
aaa = 3640
url1=’http://bbs.ustc.edu.cn/cgi/bbstdoc?board=PieBridge&start=’
while aaa>0:
aaa=aaa-20#网站link有规律，每页递减20，利用该规律设置每次赋入的URL，爬完所有贴
aaa1=str(aaa)
url1=url1+aaa1
fp=urllib.request.urlopen(url1)
s=fp.read()
soup=BeautifulSoup(s)
polist=soup.findAll(‘span’)
print (polist[1].contents[1])