「Nginx」- 屏蔽所有搜索引擎 @20210220

最新推荐文章于 2024-07-07 15:30:26 发布

k4nzdroid

最新推荐文章于 2024-07-07 15:30:26 发布

阅读量720

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/u013670453/article/details/113881623

本文档介绍了在Ubuntu 18.04.2 LTS系统上，如何通过创建和引用Nginx配置文件来设置robots.txt，从而屏蔽所有搜索引擎的抓取。首先，创建一个名为`block-all-robots.conf`的配置文件，然后在Nginx的服务器块中包含此文件，以返回一个禁止所有机器人访问的响应。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述

我们有些服务仅供内部使用，但是可以通过公网访问。

我们希望可以屏蔽所有的搜索引擎

该笔记将记录：如何调整 Nginx 配置，以屏蔽所有的搜索引擎机器人。

解决方案

操作系统：Ubuntu 18.04.2 LTS（各种发行版的目录结构存在差异，请根据场景进行调整）

配置 robots.txt 文件：

# 创建配置文件
mkdir /etc/nginx/conf.d/common
echo 'location = /robots.txt { return 200 "User-agent: *\nDisallow: /\n"; }' \
    > /etc/nginx/conf.d/common/block-all-robots.conf

# 引用配置
server {
    ...
    include /etc/nginx/conf.d/common/block-all-robots.conf;
    ...
}