22、实现真实的爬虫即服务

A3B4C5

于 2025-11-09 10:52:44 发布

阅读量20

点赞数

CC 4.0 BY-SA版权

分类专栏： Python爬虫实战指南文章标签： Elasticsearch 爬虫即服务 Flask-RESTful

本文链接：https://blog.youkuaiyun.com/a3b4c5/article/details/154632300

Python爬虫实战指南专栏收录该内容

23 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

实现真实的爬虫即服务

1. 使用 Elasticsearch 查询特定技能的工作岗位

准备工作 ：示例代码默认使用本地 Elastic Cloud 引擎，若需使用本地 Elasticsearch 引擎可自行修改。当前操作在本地运行的单个 Python 脚本中进行，而非容器或 API 之后。
操作步骤 ：
1. 代码位于 11/03/search_jobs_by_skills.py 文件，以下是具体代码：

from sojobs.scraping import get_job_listing_info
from elasticsearch import Elasticsearch
import json

if __name__ == "__main__":
    es = Elasticsearch()
    job_ids = ["122517", "163854", "138222", "164641"]
    for job_id in job_ids:
        if not es.exists(index='joblistings', doc_type='job-listing', id=job_id):
            listing = get_job_listing_info(job_id)
            es.index(index='joblistings', doc_type='