练习要求
从中山国际人才网,添加搜索岗位检索条件,采集所有分页list中的所有岗位信息。
比如搜索条件 15-20K条件的岗位列表
搜索列表:展示岗位,薪资,经验,学历,公司,地点
重点掌握,针对一条岗位记录,采用了xpath获取到jobslist进行岗位定位,然后基于当前节点再进行名称,薪资,学历等元素进行定位,这个比直接定位会更加精准数据无偏差。
以下是部分代码示例
本次练习要求,在代码给出的岗位列表中,增加【地点】和【行业】
结果如下
岗位:海外渠道-人造石板材-销售经理,薪资:15-30K,经验:3-5年,学历:本科,公司:热浪科技,地点:珠海市/金湾区,行业:机械/设备/重工
import requests
import time
import random
from lxml import etree
import re
def get_soup(url):
#目标练习站点中山国际人才网https://www.job001.cn/
#实现请求url列表的页面内容解析
response = requests.get(url)
tree = etree.HTML(response.text)
jobs = tree.xpath('//div[@class="jobsList"]')
for job in jobs:
job_name = re.sub( r'\s+',