crawlergo：一款强大的浏览器爬虫工具
项目地址: https://gitcode.com/gh_mirrors/cr/crawlergo crawlergo 是一个基于 Chrome 浏览器无头模式的开源浏览器爬虫项目，主要用于网页漏洞扫描。该项目使用 Go 语言进行开发，具有高效、灵活的特点。
项目基础介绍
- 项目名称：crawlergo
- 编程语言：Go
- 开源许可：GPL-3.0
- 项目仓库：GitHub
crawlergo 利用 Chrome 无头模式进行 URL 收集，通过自动化填充和提交表单、触发 DOM 事件，以及收集网站暴露的尽可能多的条目，实现对网站的快速扫描和漏洞检测。
核心功能
- Chrome 浏览器环境渲染：利用 Chrome 无头模式进行页面渲染，确保能够捕获到动态生成的页面内容。
- 智能表单填充与提交：自动识别并填充表单，然后提交，以收集更多的请求信息。
- DOM 事件自动触发：智能触发页面上的 DOM 事件，确保收集到所有可能触发的请求。
- 智能 URL 去重：内置 URL 去重模块，过滤大量的伪静态 URL，提高爬虫的效率。
- 智能分析网页内容：收集网页中的 JavaScript 文件内容、页面注释、robots.txt 文件，并进行常见路径的自动 Fuzz。
- 支持代理：可以设置浏览器请求代理，保证请求的安全性。
最近更新的功能
- 修复了一些问题：解决了之前版本中存在的兼容性问题，提升了稳定性。
- 增加了新功能：支持将爬取结果推送到被动式网页漏洞扫描器，提高了项目的实用性。
crawlergo 作为一个不断进化的开源项目，持续为用户提供更加高效、稳定的爬虫解决方案。欢迎感兴趣的开发者参与贡献，共同推动项目的发展。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
