使用robots.txt

1.允许所有的robot访问

User-agent: *
Disallow:

2.禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

3.禁止所有搜索引擎访问网站的几个部分（下例中的order、member、product目录）

User-agent: *
Disallow: /order/
Disallow: /member/
Disallow: /product/

4.禁止某个搜索引擎的访问（下例中的Google）

User-agent: Googlebot
Disallow: /

5.只允许某个搜索引擎的访问（下例中的Google）

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

6.使用 robots.txt 文件拦截或删除整个网站

User-agent: *

Disallow: /

7.要只从 Google 中删除您的网站，并只是防止 Googlebot 将来抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录

User-agent: Googlebot

Disallow: /

8.如何放置Robots.txt文件

robots.txt自身是一个文本文件。它必须位于域名的根目录中并 被命名为"robots.txt"。位于子目录中的 robots.txt 文件无效，因为漫游器只在域名的根目录中查找此文件。例如，http://www.example.com/robots.txt 是有效位置，http://www.example.com/mysite/robots.txt 则不是。

引用Google的规则说明