禁止搜索引擎收录的方法

一、问题描述：

屏蔽掉百度搜索我们公司的git。

二、解决步骤：

robots.txt 文件放置在网站根目录下。
举例来说，当spider访问一个网站（比如http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

robots.txt内容：

User-agent: *
Disallow: /

重启网站即可。

三、解决完后效果：

百度链接依然有，但是点击链接进去后，不会显示网站的具体内容。
问：
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
答：
如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。