腾讯招聘网站爬虫

最新推荐文章于 2023-10-19 11:34:51 发布

huhuo123456

最新推荐文章于 2023-10-19 11:34:51 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.youkuaiyun.com/huhuo123456/article/details/81105606

基本请求库requests的使用,基本解析库lxml的使用

爬虫程序源代码及爬取过程分析:

import requests
from lxml import etree

'''
1.需求分析
    获取详细的招聘内容
    职位名称   职位类别   人数 地点 发布时间
    入口地址:https://hr.tencent.com/position.php
2.源码分析
    获取所有行://tr[@class='even']|//tr[@class='odd']
    获取下一页地址://a[@id='next']
3.代码实现
'''

starturl = 'https://hr.tencent.com/position.php'
'''
一.请求入口地址
'''
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
          }

page = 1
while True:
    num = 1
    response = requests.get(starturl, headers = headers).text
    '''
    二.提取内容
    '''
    # 解析源码
    html = etree.HTML(response)
    # 获取所有的行
    tr = html.xpath("//tr[@class='even

最低0.47元/天解锁文章