python数据爬虫——如何爬取二级页面（三）

最新推荐文章于 2023-02-01 16:15:55 发布

原创

最新推荐文章于 2023-02-01 16:15:55 发布 · 1.7w 阅读

165 ·

CC 4.0 BY-SA版权

文章标签：

#python #二级页面爬取 #爬虫

前面两篇文章讲了单页面如何爬取，那么我们来试试如何爬取二级页面。

在爬取页面的时候，需要有个良好的习惯，提前对爬取的页面和爬取思路进行一个分析。

目的：爬取携程无忧数据分析师的二级页面，获取每个岗位的要求。

页面的构成：二级页面是点击一级页面跳转的。

解决思路：
1、在一级页面中获取二级页面的链接
2、在二级二面中获取想要的数据。

这里我们会用到BeautifulSoup。

思路有了，那我们开始吧！

1、获取二级页面的链接，href路径获取，浏览器点开检查。找到相对应的href位置：

import requests
from bs4 import BeautifulSoup
from lxml import etree
import time
import csv

headers={
  'user-agent':'Mozilla/5.0'
}#模拟浏览器进行爬取

url = 'https://search.51job.com/list/000000%252C00,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,'
#网页内容格式调整
i = 0
for n in range(1,10):
    r = url+str(n)+str('.html')
    html = requests.get(r,headers=headers)
    html.raise_for_status()
    html.encoding = html.apparent_encoding#内容获取的内容进行转码，以防出现乱码的情况。    

    soup = BeautifulSoup(html.text,'html.parser')
    liebiao = soup.find_all('p','t1')#获取第一页href相关的位置
    #print(liebiao)
    for item in liebiao:
        shuju =