初学python，爬虫小项目

最新推荐文章于 2021-04-24 16:33:39 发布

原创

最新推荐文章于 2021-04-24 16:33:39 发布 · 6.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #urllib2 #BeautifulSoup #应届生求职网

本文介绍了作者作为Python初学者，运用urllib2和BeautifulSoup库在Python2.7环境中编写的一个简单爬虫，目标是抓取应届生求职网上关于西安地区的校招宣讲会信息。目前实现的功能尚未包含获取img标签中的时间信息，作者期待进一步学习如何处理动态网页和使用MongoDB存储爬取的数据。

初学python看完基础教程后，利用从视频学来的知识，利用urllib2和BeautifulSoup库，在python2.7环境下编写一个小爬虫，爬取应届生求职网上西安的校招宣讲会信息。

代码如下：

# coding=utf-8
import urllib2
from  bs4 import BeautifulSoup
urlstart='http://my.yingjiesheng.com/index.php/personal/xjhinfo.htm/?page='#为了方便翻页将网址代码分成两部分
urlend='&cid=&city=21&word=&province=0&schoolid=&sdate=&hyid=0'
for i in range(1,20):#从网站上直接获取页面个数
    print '正在打印第'+str(i)
    url=urlstart+str(i)+urlend#整理网站地址
    request=urllib2.urlopen(url)#用urllib2打开网站
    html=request.read()#读取网站代码
    bs=BeautifulSoup(html,'html.parser',from_encoding='utf-8')#BeautifulSoup整理网站代码
    alllist1=bs.find_all('tr',class_='bg0')#每一页的信息分为两个部分
    alllist2=bs.find_all('tr',class_='bg1')
    alllist=alllist1+alllist2#整理信息
    for contenttd in alllist:
        row=[]
        mouth=contenttd.find('td',width="115").text#定位到宣讲时间字符位置
        companyweb=contenttd.find('td',width='140').find('a').get('href')#定位到宣讲企业网站