「Nginx」- 屏蔽所有搜索引擎 @20210220

本文档介绍了在Ubuntu 18.04.2 LTS系统上,如何通过创建和引用Nginx配置文件来设置robots.txt,从而屏蔽所有搜索引擎的抓取。首先,创建一个名为`block-all-robots.conf`的配置文件,然后在Nginx的服务器块中包含此文件,以返回一个禁止所有机器人访问的响应。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题描述

我们有些服务仅供内部使用,但是可以通过公网访问。

我们希望可以屏蔽所有的搜索引擎

该笔记将记录:如何调整 Nginx 配置,以屏蔽所有的搜索引擎机器人。

解决方案

操作系统:Ubuntu 18.04.2 LTS(各种发行版的目录结构存在差异,请根据场景进行调整)

配置 robots.txt 文件:

# 创建配置文件
mkdir /etc/nginx/conf.d/common
echo 'location = /robots.txt { return 200 "User-agent: *\nDisallow: /\n"; }' \
    > /etc/nginx/conf.d/common/block-all-robots.conf

# 引用配置
server {
    ...
    include /etc/nginx/conf.d/common/block-all-robots.conf;
    ...
}

参考文献

The Web Robots Pages
Robots.txt File [2021 Examples] - Moz
How to set robots.txt globally in nginx for all virtual hosts - Server Fault

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值