Sitemap-Generator-Crawler 项目常见问题解决方案

Sitemap-Generator-Crawler 项目常见问题解决方案

Sitemap-Generator-Crawler PHP script to recursively crawl websites and generate a sitemap. Zero dependencies. 项目地址: https://gitcode.com/gh_mirrors/si/Sitemap-Generator-Crawler

项目基础介绍

Sitemap-Generator-Crawler 是一个用于递归爬取网站并生成站点地图的 PHP 脚本。该项目的主要特点包括：

• 零依赖：不需要任何外部依赖即可运行。
• 递归爬取：能够像 Google 那样爬取网页。
• 生成 XML 文件：每次执行脚本时都会更新生成的 XML 文件。
• CLI 支持：完全可以通过命令行界面使用。
• 非限制性许可：采用 MIT 许可证，使用自由度高。

新手使用注意事项及解决方案

1. 配置文件错误

问题描述：新手在使用项目时，可能会在配置文件 sitemap_config.php 中设置错误，导致脚本无法正常运行。

解决步骤：

1. 检查配置文件：打开 sitemap_config.php 文件，确保所有配置项都正确填写。
2. 验证 URL：确保 site 配置项中的 URL 是有效的，并且可以正常访问。
3. 保存并测试：保存配置文件后，通过命令行或浏览器发送 GET 请求来测试脚本是否能够正常生成站点地图。

2. 黑名单设置错误

问题描述：新手可能会在黑名单设置中使用错误的通配符或路径，导致某些页面被错误地排除在站点地图之外。

解决步骤：

1. 检查黑名单配置：打开 sitemap_config.php 文件，查看 blacklist 配置项。
2. 使用正确的通配符：确保使用正确的通配符（例如 http://example.com/private/* 和 *.jpg）来排除不需要的页面。
3. 测试黑名单：保存配置文件后，通过命令行或浏览器发送 GET 请求来测试黑名单设置是否生效。

3. CLI 使用问题

问题描述：新手在使用命令行界面（CLI）时，可能会遇到参数传递错误或不熟悉 shell 语法的问题。

解决步骤：

1. 基本 CLI 使用：使用以下命令来生成站点地图：

   php sitemap.php file=/home/user/public_html/sitemap.xml site=http://www.mywebsite.com/
   

2. 高级 CLI 使用：如果需要传递数组参数（如黑名单），可以使用以下格式：

   php sitemap.php blacklist\[]="foo"\&blacklist\[]="bar"
   

3. 调试参数：如果需要设置调试参数，可以使用以下格式：

   php sitemap.php debug\["add"]=true\&debug\["warn"]=false\&debug\["reject"]=true
   

通过以上步骤，新手可以更好地理解和使用 Sitemap-Generator-Crawler 项目，避免常见问题的发生。

Sitemap-Generator-Crawler PHP script to recursively crawl websites and generate a sitemap. Zero dependencies. 项目地址: https://gitcode.com/gh_mirrors/si/Sitemap-Generator-Crawler