通过“Robots <META> tag”防止搜索引擎收录网页后门

最新推荐文章于 2025-06-07 22:35:50 发布
原创 最新推荐文章于 2025-06-07 22:35:50 发布 · 616 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用Robots META标签来阻止搜索引擎索引特定页面的内容及链接，并阻止保存网页快照，以此来隐藏网站的某些部分。

这是我这b374k.php上看到的。

我们通过“Robots <META> tag”来告诉搜索引擎spider不要索引页面的内容以及不扫描页面中的链接。这样他人就不能通过搜索关键字的方式找到我们的网页后门了。

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

还可以再加一个“noarchive”属性防止搜索引擎保存网页的快照。 


<meta name='robots' content='noindex, nofollow, noarchive'>

参考：http://www.robotstxt.org/meta.html

           http://www.williamlong.info/archives/818.html

HTML 基础标签——元数据标签 ＜meta＞
Allen-
11-01 879
标签通常位于文档的部分。它用于定义文档的元数据，包括字符编码、文档描述、关键字、作者信息等。这些信息可以帮助浏览器正确解析和显示文档，同时还可以提供搜索引擎索引所需的信息。
页面增加＜meta＞标签，方便被爬虫搜索，网站埋点，加入百度网站统计功能
梁小茹的博客
07-21 870
很多页面都会加meta标签，方便被搜索引擎爬虫搜索（动态显示）请看代码: <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="description" content=""> <meta na
Robots Meta Tag的使用
程序人生
10-07 1833
Robots Meta Tag的使用 Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接。该标记元已占据愈来愈重要的位置。而且，它也应用于没有对服务器顶级目录下的robots.txt文件的控制权限，有些搜索引擎现今已完全遵循Robots Meta Tag，如Inktomi. Robots Meta Tag的格式： The Robots
Robots 元标签与 X-Robots 标签
SEOjiaoxue的博客
11-25 1799
机器人元标记是一个 HTML 标签，它提供信息来查看电机爬虫和其他网络机器人几乎如何记录和显示网页。它设置在 HTML 页面的段中，可用于控制外观电机爬虫的行为。标签包括两个性质：“标题”和“实质”。“title”质量表示指令的类型，“substance”属性表示对该指令的尊重。“index”：此指令允许 Look Motor 爬虫记录页面并将其显示在 Look 结果中。“index”：此指令告诉 Look Motor 爬虫不要填充页面，并且它不会出现在 Look 结果中。
机器人meta标签和X-Robots-Tag HTTP标头规格
weixin_33724659的博客
02-15 578
抽象 本文档详细介绍了页级索引设置如何让您控制Google如何通过搜索结果提供内容。您可以通过在（X）HTML页面或HTTP标头中包含元标记来指定这些标记。 笔记 请注意，只有当抓取工具被允许访问包含这些设置的页面时，才可以阅读和遵守这些设置。 该&lt;meta name="robots" content="noindex" /&gt;标签或指令适用于搜索引擎爬虫。要拦截非搜索抓取工具（例如A...
Http响应X-Powered-By, X-Robots-Tag,X-Frame-Options
weixin_33854644的博客
11-07 1058
2019独角兽企业重金招聘Python工程师标准>>> ...
robots.txt及其 Meta标签在SEO中的作用、如何提交网站地图（转）
yaven的专栏
01-04 592
转自：http://hi.baidu.com/wzk717/blog/item/ab854ddfb8350a19495403d8.html1、robots.txt是什么？      robots.txt是一个纯文本文件，用来告诉网络蜘蛛（不仅限搜索引擎蜘蛛）本站中哪些位置允许抓取，哪些位置不允许抓取。 2、如何正确放置robots.txt？ 首先，robots.txt文件必须放置在网站根目录；有域...
【网站建设】SEO 优化必学：深入掌握 ＜meta＞ 标签的设置与应用
最新发布
每日出拳老爷子的博客
06-07 1299
SEO优化中，meta标签（title/description/keywords）是影响搜索排名的重要因素。
JSP标签 <meta>的作用
05-24
通过 `<meta name="Robots" content="...">` 可以控制搜索引擎机器人对页面的抓取行为，例如设置为 `noindex` 或 `nofollow` 来阻止搜索引擎收录该页面或者不跟随页面上的链接。 ### 小结 `<meta>` 标签虽然看似...
HTML5中的`＜title＞`标签主要用于定义文档的标题，这个标题通常会在浏览器的标签页以及搜索引擎结果中显示
BLOG域名:programb.blog.youkuaiyun.com
06-25 893
它是每个HTML文档的头部部分的一部分，用于定义页面的标题，即浏览器标签页上显示的内容，同时也是搜索引擎索引网页时最重要的元信息之一。标签主要用于定义文档的标题，这个标题通常会在浏览器的标签页以及搜索引擎结果中显示。: 标题应明确反映页面的主要内容或主题。标签的内容是"关键词 - 网页标题示例"，既包含了相关的关键词，又给出了关于页面主题的一般描述。：用户首先看到的就是网页的标题，它直接影响着用户的点击意愿和对页面主题的理解。提供相关的关键词，但现代搜索引擎往往更重视高质量的内容而非单一的关键词堆砌。
禁止搜索引擎收录的方法
Just Code
10-23 2887
1. 什么是robots.txt文件? 搜索引擎使用spider程序自动访问互联网上的网页并 获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 ...
禁止搜索引擎收录网站内容的几种方法
热门推荐
№快乐因你♂
09-07 1万+
第一种、robots.txt方法 搜索引擎默认的遵守robots.txt协议，创建robots.txt文本文件放至网站根目录下，编辑代码如下: User-agent: * Disallow: / 通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。 如何只禁止百度搜索引擎收录抓取网页 1、编辑robots.txt文件，设计标记
Meta 标签使用详解
钰琳仙境
01-23 410
meta是html语言head区的一个辅助性标签。几乎所有的网页里，我们可以看到类似下面这段的html代码：   &lt;head&gt;&lt;meta http-equiv="content-Type" content="text/html; charset=gb2312"&gt;&lt;/head&gt;   　　也许你认为这些代码可有可无。其实如果你能够用好meta标签，会给你带来意想不到...
屏蔽百度等所有搜索引擎蜘蛛方法加meta标签
企业级技术与网站app运营
05-17 6359
大多数情况下，我们都会使用robots.txt文件对搜索引擎蜘蛛的抓取行为进行限制，这是一种非常规范的做法。除此之外，我们还可以通过网页头部的META标签禁止搜索引擎抓取，这种方法的优点是只针对当前网页，操作起来比较灵活。只是针对百度搜索，不知道管用不，记录下来，试试   具体的代码非常简单，只需要在你的网页和之间插入一句：     其中的属性值可以按照要求从下面四选一：
MYSQL-手工SQL注入绕过技巧-实战篇
eT48_Sec
12-24 6036
之前遇到一个站点，经检测存在SQL注入，但是有WAF存在，后来知道是绿盟的WEB应用防火墙。 后来在社区看到了一篇关于《sql注入绕过技巧》的文章后（原文：http://zone.wooyun.org/content/16772），回过头来重新进行手工，这次总算干掉了WAF。以下是自己对于本次渗透的一些学习笔记，包含一些绕过waf的技巧。 首先判断注入点 id=161-(select
MYSQL注入绕过技巧
eT48_Sec
12-23 5604
/lingdao.php?id=161.0ORDER BY%2B9 /lingdao.php?id=4.990Union(select-1.0,2,3,4,5,6,7,@@version) Article/show/id/4.0Union(select-0.1,2,USER,password,5,6,7,8,9,10,11,12,13.0FROM mysql%252euser)
通过UA判断客户端的操作系统类型
eT48_Sec
01-03 2752
我们可以通过一个javascript脚本获取客户端返回的User-Agent，然后根据其中的信息判断客户端使用什么操作系统。 Windows系列 Windows NT 俗称 NT 5.0 Windows 2000 NT 5.1 Windows XP NT 5.2 Windows XP Windows 2003 NT6.0
PHP小马
eT48_Sec
01-04 1991
http://xiaojianke.blog.163.com是我原来的博客，工作后换成了C博客，这里吐槽一下网易博客太差了。 看到网上那么多PHP小马，我也来自己写一个，练习PHP编程。 <?php error_reporting(E_ERROR); header('Content-Type:text/html; charset=utf-8'); $path=getcwd(); $pe
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值