10、网络信息收集与Python编程实践

网络信息收集与Python编程实践

1. 寻找秘密目录

在网络安全领域，道德黑客通常会检查有关网站门户的所有可用信息，广泛来说，侦察就是从各种可能的来源收集信息。这一活动不仅限于端口扫描、电子邮件跟踪或收集目标地址，目标网站可能存在一些私人目录，网站管理员希望将这些目录排除在搜索引擎搜索之外。

为了隐藏这些目录，网站管理员通常会在网站根目录下放置一个 robots.txt 文件，这就是所谓的机器人排除标准，也称为机器人排除协议。通常，搜索引擎会抓取网站并将其编入索引，放置 robots.txt 文件是所有网站与网络爬虫和其他网络机器人进行通信的标准。通过这个标准，网站可以告知网络机器人哪些区域是受限的。

网络机器人有好坏之分，好的机器人会遵守 robots.txt 的规则，而坏的机器人如电子邮件收集器、垃圾邮件机器人、恶意软件等，会试图访问受限区域。

robots.txt 文件的工作原理如下：
假设你是网站所有者，不想让网络机器人抓取私人目录，就需要在根目录下放置一个名为 robots.txt 的文本文件，并写入相关指令，例如 www.example.com/robots.txt 。当网络机器人访问你的网站时，会先搜索 robots.txt 文件并读取指令，如果是好的机器人，就不会抓取指定的受限目录。如果 robots.txt 文件不存在，网络机器人会遍历整个网站并对每个页面进行索引和分类。对于子域名，需要在相应的