City Scrapers 项目教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01161/article/details/142811327

City Scrapers 项目教程

city-scrapers Scrape, standardize and share public meetings from local government websites 项目地址: https://gitcode.com/gh_mirrors/ci/city-scrapers

1. 项目的目录结构及介绍

City Scrapers 项目的目录结构如下：

city-scrapers/
├── city_scrapers/
│   ├── __init__.py
│   ├── settings.py
│   ├── spiders/
│   │   ├── __init__.py
│   │   ├── example_spider.py
│   │   └── ...
├── docs/
│   ├── README.md
│   └── ...
├── tests/
│   ├── __init__.py
│   ├── test_example.py
│   └── ...
├── deploy.sh
├── flake8
├── gitattributes
├── gitignore
├── pre-commit-config.yaml
├── CODE_OF_CONDUCT.md
├── CONTRIBUTING.md
├── LICENSE
├── Pipfile
├── Pipfile.lock
├── README.md
├── pyproject.toml
└── scrapy.cfg

目录结构介绍

city_scrapers/: 项目的主要代码目录，包含 Scrapy 爬虫的实现。
- settings.py: Scrapy 项目的配置文件。
- spiders/: 存放所有爬虫脚本的目录。
docs/: 项目文档目录，包含 README 等文档文件。
tests/: 测试代码目录，包含项目的单元测试和集成测试。
deploy.sh: 部署脚本，用于自动化部署项目。
flake8: 代码风格检查工具的配置文件。
gitattributes: Git 属性配置文件。
gitignore: Git 忽略文件配置。
pre-commit-config.yaml: 预提交钩子配置文件。
CODE_OF_CONDUCT.md: 项目的行为准则。
CONTRIBUTING.md: 贡献指南。
LICENSE: 项目许可证。
Pipfile: Pipenv 依赖管理文件。
Pipfile.lock: Pipenv 依赖锁定文件。
README.md: 项目主文档，包含项目介绍、安装和使用说明。
pyproject.toml: Python 项目配置文件。
scrapy.cfg: Scrapy 项目配置文件。

2. 项目的启动文件介绍

City Scrapers 项目的启动文件主要是 scrapy.cfg 和 city_scrapers/settings.py。

`scrapy.cfg`

scrapy.cfg 是 Scrapy 项目的配置文件，定义了项目的名称、模块路径等信息。以下是一个示例配置：

[settings]
default = city_scrapers.settings

[deploy]
#url = http://localhost:6800/
project = city_scrapers

`city_scrapers/settings.py`

settings.py 是 Scrapy 项目的核心配置文件，包含了爬虫的各种配置选项，如日志级别、中间件、扩展、数据库连接等。以下是部分配置示例：

BOT_NAME = 'city_scrapers'

SPIDER_MODULES = ['city_scrapers.spiders']
NEWSPIDER_MODULE = 'city_scrapers.spiders'

ROBOTSTXT_OBEY = True

ITEM_PIPELINES = {
    'city_scrapers.pipelines.CityScrapersPipeline': 300,
}