22、实现爬虫即服务

实现爬虫即服务

1. 使用 Elasticsearch 查询特定技能的工作岗位

1.1 准备工作

示例代码默认使用本地 Elastic Cloud 引擎，而非本地 Elasticsearch 引擎，你可按需修改。当前操作将在本地运行的单个 Python 脚本中完成，而非在容器或 API 后执行。

1.2 操作步骤

代码位于 11/03/search_jobs_by_skills.py 文件中，具体步骤如下：

from sojobs.scraping import get_job_listing_info
from elasticsearch import Elasticsearch
import json

if __name__ == "__main__":
    es = Elasticsearch()
    job_ids = ["122517", "163854", "138222", "164641"]
    for job_id in job_ids:
        if not es.exists(index='joblistings', doc_type='job-listing', id=job_id):
            listing = get_job_listing_info(job_id)
            es.index(index='joblistings', doc_type='job-listing', id=job_id, body=listing)
    search_defin