22、实现爬虫即服务

perl8

于 2025-11-09 11:11:10 发布

阅读量19

点赞数

CC 4.0 BY-SA版权

分类专栏： Python爬虫实战精讲文章标签：爬虫即服务 Elasticsearch 按技能搜索工作

本文链接：https://blog.youkuaiyun.com/perl8/article/details/154632596

Python爬虫实战精讲专栏收录该内容

23 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

实现爬虫即服务

1. 使用 Elasticsearch 查询特定技能的工作岗位

我们可以使用之前创建的爬虫从 StackOverflow 抓取工作岗位信息并存储到 Elasticsearch 中，然后扩展此功能以查询包含一个或多个指定技能的工作岗位。

准备工作

示例代码默认使用本地 Elastic Cloud 引擎，而非本地 Elasticsearch 引擎，你可按需修改。当前我们将在本地运行的单个 Python 脚本中执行此过程，而非在容器或 API 之后运行。

操作步骤

代码实现 ：代码位于 11/03/search_jobs_by_skills.py 文件中。

from sojobs.scraping import get_job_listing_info
from elasticsearch import Elasticsearch
import json
if __name__ == "__main__":
    es = Elasticsearch()
    job_ids = ["122517", "163854", "138222", "164641"]
    for job_id in job_ids:
        if not es.exists(index='joblistings', doc_type='job-listing', id=job_id):
            listing = get_job_listi