LinkedIn数据抓取工具使用教程

LinkedIn数据抓取工具使用教程

linkedin Linkedin Scraper using Selenium Web Driver, Chromium headless, Docker and Scrapy 项目地址: https://gitcode.com/gh_mirrors/lin/linkedin

1. 项目目录结构及介绍

linkedin/
├── compose/
├── data/
├── docs/
├── linkedin/
├── logs/
├── requirements/
├── tests/
├── .dockerignore
├── .gitignore
├── LICENCE.md
├── Makefile
├── README.md
├── conf_template.py
├── docker-compose.yml
├── pytest.ini
├── scraper.py
├── scrapy.cfg
└── sequential_run.py

目录结构介绍

• compose/: 包含Docker Compose相关的配置文件。
• data/: 用于存储抓取的数据。
• docs/: 项目文档文件夹。
• linkedin/: 核心代码文件夹，包含LinkedIn数据抓取的实现。
• logs/: 日志文件存储目录。
• requirements/: 项目依赖文件。
• tests/: 测试代码文件夹。
• .dockerignore: Docker忽略文件。
• .gitignore: Git忽略文件。
• LICENCE.md: 项目许可证文件。
• Makefile: 项目构建和运行脚本。
• README.md: 项目说明文档。
• conf_template.py: 配置文件模板。
• docker-compose.yml: Docker Compose配置文件。
• pytest.ini: Pytest配置文件。
• scraper.py: 数据抓取主脚本。
• scrapy.cfg: Scrapy配置文件。
• sequential_run.py: 顺序运行脚本。

2. 项目启动文件介绍

scraper.py

scraper.py 是LinkedIn数据抓取工具的主脚本。它负责启动抓取任务，使用Selenium WebDriver和Scrapy来抓取LinkedIn上的用户和公司数据。

sequential_run.py

sequential_run.py 是一个辅助脚本，用于按顺序执行抓取任务。它可以根据用户输入的命令来执行不同的抓取操作。

Makefile

Makefile 包含了项目的构建和运行命令。通过运行 make 命令，可以启动不同的抓取任务，例如：

• make companies: 抓取公司员工数据。
• make random: 随机抓取用户数据。
• make byname: 根据指定名称抓取用户数据。

3. 项目的配置文件介绍

conf_template.py

conf_template.py 是一个配置文件模板，用户需要将其复制为 conf.py 并填写LinkedIn的登录凭证。

# conf.py
EMAIL = "YOUR_LINKEDIN_EMAIL"
PASSWORD = "YOUR_LINKEDIN_PASSWORD"

docker-compose.yml

docker-compose.yml 是Docker Compose的配置文件，用于定义和管理Docker容器。它包含了LinkedIn数据抓取工具的运行环境配置。

scrapy.cfg

scrapy.cfg 是Scrapy框架的配置文件，用于配置Scrapy项目的设置。它定义了项目的名称、模块路径等信息。

pytest.ini

pytest.ini 是Pytest的配置文件，用于配置测试框架的运行参数和插件。

通过以上配置文件和启动文件，用户可以轻松地配置和启动LinkedIn数据抓取工具，进行数据抓取和分析。

linkedin Linkedin Scraper using Selenium Web Driver, Chromium headless, Docker and Scrapy 项目地址: https://gitcode.com/gh_mirrors/lin/linkedin