crawlergo 项目教程

crawlergo 项目教程

【免费下载链接】crawlergo A powerful browser crawler for web vulnerability scanners 项目地址: https://gitcode.com/gh_mirrors/cra/crawlergo

1. 项目目录结构及介绍

crawlergo/
├── cmd/
│   └── crawlergo/
│       ├── main.go
│       └── ...
├── examples/
│   └── ...
├── img/
│   └── ...
├── pkg/
│   └── ...
├── .gitignore
├── Disclaimer.md
├── LICENSE
├── Makefile
├── README.md
├── README_zh-cn.md
├── Dockerfile
├── get_chrome.sh
├── go.mod
└── go.sum

目录结构介绍

• cmd/: 包含项目的启动文件和主要逻辑代码。
  • crawlergo/: 项目的主目录，包含 main.go 文件，这是项目的入口文件。
• examples/: 包含项目的示例代码和配置文件。
• img/: 包含项目相关的图片资源。
• pkg/: 包含项目的包和库文件。
• .gitignore: Git 忽略文件列表。
• Disclaimer.md: 免责声明文件。
• LICENSE: 项目许可证文件。
• Makefile: 项目构建文件。
• README.md: 项目的英文介绍文档。
• README_zh-cn.md: 项目的中文介绍文档。
• Dockerfile: Docker 构建文件。
• get_chrome.sh: 获取 Chrome 浏览器的脚本文件。
• go.mod: Go 模块依赖文件。
• go.sum: Go 模块依赖的校验文件。

2. 项目启动文件介绍

cmd/crawlergo/main.go

main.go 是 crawlergo 项目的入口文件，负责启动整个爬虫程序。该文件主要包含以下内容：

• 初始化配置: 读取配置文件并初始化爬虫的配置。
• 启动爬虫: 调用爬虫的核心逻辑，开始爬取目标网站的 URL。
• 结果输出: 将爬取的结果输出到指定位置，如控制台或文件。

启动命令

go run cmd/crawlergo/main.go -c /path/to/chrome -t 10 http://example.com

• -c /path/to/chrome: 指定 Chrome 浏览器的路径。
• -t 10: 设置同时打开的标签页数量。
• http://example.com: 指定要爬取的目标网站。

3. 项目配置文件介绍

crawlergo 项目没有明确的配置文件，但可以通过命令行参数进行配置。以下是一些常用的配置参数：

基本参数

• --chromium-path Path: 指定 Chrome 浏览器的路径。
• --custom-headers Headers: 自定义 HTTP 请求头，使用 JSON 格式。
• --post-data PostData: 指定 POST 请求的数据。
• --max-crawled-count Number: 设置最大爬取任务数，避免长时间爬取。
• --filter-mode Mode: 设置过滤模式，可选值为 simple、smart、strict。
• --output-mode value: 设置结果输出模式，可选值为 console、json、none。
• --output-json filepath: 将结果输出到指定文件。
• --request-proxy proxyAddress: 设置请求代理。

示例配置

bin/crawlergo -c /tmp/chromium/chrome -t 10 --request-proxy socks5://127.0.0.1:7891 http://example.com

该命令指定了 Chrome 浏览器的路径、同时打开的标签页数量、请求代理，并开始爬取 http://example.com。

通过以上配置，可以灵活地调整 crawlergo 的行为，以适应不同的爬取需求。

【免费下载链接】crawlergo A powerful browser crawler for web vulnerability scanners 项目地址: https://gitcode.com/gh_mirrors/cra/crawlergo