site-mirror-py 项目使用教程

site-mirror-py 项目使用教程

site-mirror-py [码云](https://gitee.com/generals-space/site-mirror-py) 通用爬虫, 仿站工具, 整站下载 项目地址: https://gitcode.com/gh_mirrors/si/site-mirror-py

1. 项目的目录结构及介绍

site-mirror-py/
├── crawler/
│   ├── __init__.py
│   └── config.py
├── doc/
├── docker/
├── .gitignore
├── LICENSE
├── docker-compose.yml
├── main.py
├── readme.md
└── requirements.txt

目录结构介绍

• crawler/: 包含爬虫的核心逻辑和配置文件。

  • __init__.py: 初始化文件。
  • config.py: 配置文件，用于设置爬虫的参数。

• doc/: 存放项目的文档文件。

• docker/: 存放与Docker相关的文件。

• .gitignore: Git忽略文件，指定哪些文件或目录不需要被Git管理。

• LICENSE: 项目的开源许可证文件。

• docker-compose.yml: Docker Compose配置文件，用于启动和管理Docker容器。

• main.py: 项目的启动文件，包含爬虫的主逻辑。

• readme.md: 项目的README文件，包含项目的介绍、使用方法等信息。

• requirements.txt: 项目的依赖文件，列出了项目运行所需的Python包。

2. 项目的启动文件介绍

main.py

main.py 是项目的启动文件，负责初始化爬虫并开始抓取网页内容。以下是该文件的主要功能和代码结构：

import os
import sys
from crawler.crawler import Crawler

def main():
    # 获取命令行参数
    if len(sys.argv) < 2:
        print("Usage: python main.py <url>")
        sys.exit(1)

    main_url = sys.argv[1]
    max_depth = int(sys.argv[2]) if len(sys.argv) > 2 else 0

    # 初始化爬虫
    crawler = Crawler(main_url, max_depth)
    crawler.start()

if __name__ == "__main__":
    main()

主要功能

• 命令行参数解析: 通过 sys.argv 获取用户输入的URL和抓取深度。
• 爬虫初始化: 创建 Crawler 对象，并传入目标URL和抓取深度。
• 启动爬虫: 调用 crawler.start() 方法开始抓取网页内容。

3. 项目的配置文件介绍

crawler/config.py

config.py 文件包含了爬虫的各种配置选项，用户可以根据需要修改这些配置来定制爬虫的行为。

# 配置文件示例

# 目标网站主页
main_url = "https://example.com"

# 抓取深度，0表示不限深度
max_depth = 0

# 是否下载图片
download_images = True

# 是否下载CSS文件
download_css = True

# 是否下载JS文件
download_js = True

# 黑名单，屏蔽指定链接的资源
blacklist = [
    "https://example.com/ads",
    "https://example.com/tracking"
]

主要配置项

• main_url: 目标网站的主页URL。
• max_depth: 抓取深度，0表示不限深度，1表示只抓取单页面。
• download_images: 是否下载图片。
• download_css: 是否下载CSS文件。
• download_js: 是否下载JS文件。
• blacklist: 黑名单，屏蔽指定链接的资源。

通过修改这些配置项，用户可以灵活地控制爬虫的行为，以满足不同的需求。

site-mirror-py [码云](https://gitee.com/generals-space/site-mirror-py) 通用爬虫, 仿站工具, 整站下载 项目地址: https://gitcode.com/gh_mirrors/si/site-mirror-py