Python爬虫爬取51job招聘网站

最新推荐文章于 2024-01-12 23:25:49 发布

搁浅时光0315

最新推荐文章于 2024-01-12 23:25:49 发布

阅读量7.1k

点赞数 1

分类专栏： python 数据分析

本文链接：https://blog.youkuaiyun.com/weixin_39666856/article/details/81005255

版权

本文记录了一次使用Python爬虫抓取51job招聘网站数据的经历。详细介绍了如何处理数据编码问题，确保CSV文件以GBK编码保存，以便于用Excel查看。后续计划对爬虫进行优化并分析爬取结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近学习爬虫，做了一个python爬虫工具写在这里记录一下。

# python爬51job工具，稍微改改就可以爬其他网站
# edit by mengqi Date：2018-07-11
# encoding:uft-8


import csv                # 爬下来的数据要写到csv文件中，所以要引入这个模块
from urllib import request, error
from lxml import etree   # 元素树用来进行xpath语法解析时，
import random             # 这里我构造了五个浏览器的user-agent，防止被检测出来


# 1. get_html()这个函数是将给定url和encode方式，返回为html的字符串形式
def get_html(url,encode='utf-8'):
    try:
        ua_value1 = "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) " \
                    "Gecko/20100101 Firefox/61.0"
        ua_value2 = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ' \
                    '(KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'
        ua_value3 = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 ' \
                    '(KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11'
        ua_value4 = 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US)' \
                    ' AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16'
        ua_value5 = 'Mozilla/5.0 (Windows NT 6.1; WOW64)' \
                    ' AppleWebKit/537.1 (KH

最低0.47元/天解锁文章