爬虫限制（robots.txt）

需要注意的是，未经允许的爬虫行为可能违反网站的使用条款或法律法规。在进行网页爬取之前，建议先查看网站的Robots.txt文件以及相关的使用条款，并确保你的爬虫行为合法合规。

查看网站的Robots.txt文件，可以按照以下步骤进行：

1. 打开任意一个浏览器，进入要查看Robots.txt文件的网站。

2. 在网站的URL后面添加/robots.txt，例如：https://www.traveldaily.cn/robots.txt

3. 按下Enter键或者点击浏览器的前往按钮。

4. 浏览器会显示Robots.txt文件的内容，如果网站允许查看的话。

请注意，不是所有的网站都允许查看Robots.txt文件，有些网站可能会禁止公开访问。

Robots.txt文件：

https://www.traveldaily.cn/robots.txt

User-agent: *
Allow: /
Sitemap: https://www.traveldaily.cn/express.xml
Sitemap: https://www.traveldaily.cn/lastest.xml
Sitemap: https://www.traveldaily.cn/sitemap1.xml
Sitemap: https://www.traveldaily.cn/sitemap2.xml
Sitemap: https://www.traveldaily.cn/sitemap3.xml
Sitemap: https://www.traveldaily.cn/sitemap4.xml

用于指示搜索引擎爬虫访问网站的规则。在这个例子中，"User-agent: *"表示所有搜索引擎爬虫都适用以下规则。"Allow: /"表示允许爬虫访问网站的所有内容。

接下来是一系列的Sitemap指令，用于告诉搜索引擎网站的XML Sitemap文件的位置。Sitemap文件包含了网站的页面URL和其他相关信息，帮助搜索引擎更好地索引网站。在这个例子中，指定了五个Sitemap文件的位置。

总结起来，这个robots.txt文件告诉搜索引擎爬虫可以访问网站的所有内容，并提供了五个Sitemap文件的位置供搜索引擎索引网站。

https://hotels.ctrip.com/robots.txt

User-agent: Baiduspider
Disallow: /hotels/listPage?*
Disallow: /hotels/*?hotelId=
Disallow: /hotels/*-hotel-detail-*/
Disallow: /hotels/*-hotels-list-*/
Disallow: /*?*
Disallow: /hotels/*.html?*
Disallow: /flagship/*
Allow:    /flagship/*/*.html 
Allow: /hotels/*.html
Allow: /hotel/*
Allow: /brand/*

• User-agent: Baiduspider 表示该规则适用于百度搜索引擎的爬虫。
• Disallow: /hotels/listPage?* 表示不允许爬虫访问形如/hotels/listPage?xxx的页面。
• Disallow: /hotels/*?hotelId= 表示不允许爬虫访问形如/hotels/xxx?hotelId=xxx的页面。
• Disallow: /hotels/-hotel-detail- 表示不允许爬虫访问形如/hotels/xxx-hotel-detail-xxx的页面。
• Disallow: /hotels/-hotels-list- 表示不允许爬虫访问形如/hotels/xxx-hotels-list-xxx的页面。
• Disallow: /? 表示不允许爬虫访问任意带有问号的页面。
• Disallow: /hotels/.html? 表示不允许爬虫访问形如/hotels/xxx.html?xxx的页面。
• Disallow: /flagship/* 表示不允许爬虫访问形如/flagship/xxx的页面。
• Allow: /flagship//.html 表示允许爬虫访问形如/flagship/xxx/xxx.html的页面。
• Allow: /hotels/*.html 表示允许爬虫访问形如/hotels/xxx.html的页面。
• Allow: /hotel/* 表示允许爬虫访问形如/hotel/xxx的页面。
• Allow: /brand/* 表示允许爬虫访问形如/brand/xxx的页面。

参考：什么是robots文件？robots.txt该怎么写？ - 知乎