python爬取小木虫的调剂信息（考研调剂学生的福利）

弱小的皮卡龙

于 2021-03-03 22:44:34 发布

阅读量2.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：爬虫小程序文章标签：小木虫 python xpath csv 爬虫

本文链接：https://blog.youkuaiyun.com/tgj2094942564/article/details/114339285

先看看页面
在这里插入图片描述
这里我们以500页，为例，采用xpath选取这里的title，时间以及作者，然后再看看具体信息

红色框即为我们需要的详情信息，全部抓取后写入csv文件

import requests
from lxml import etree
import time as times
import csv
headers = {
   
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}
mu_url = 'http://muchong.com/f-430-{}'

heads = ["title", "url", "author", "time", "school", "major", "need_people"]
save_path = r'D:/QQPCmgr/Desktop/xmc/school_info.csv'
with open(save_path, "w") as f:
    f_csv = csv.writer(f)
    f_csv.writerow(heads)
base_url = 'http://muchong.com