记录使用【阿里云服务器+宝塔Linux】写反爬虫时遇见的nginx配置文件无效问题——一名小菜鸡如何在云服务器搭建的个人网站上编写自己网站的反爬虫?

博主在阿里云服务器上使用宝塔Linux搭建个人博客,遇到nginx配置文件无效的问题。通过分析,发现由于`include`指令,配置文件被覆盖,导致原有设置失效。在 `/www/server/panel/vhost/nginx/` 目录下修改conf文件实现了反爬虫功能,测试显示能有效阻挡无User-Agent的Python爬虫。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        一个半月前,在编写了第一个反爬虫并撰写了博客:【反爬虫】在阿里云服务器所搭建的个人博客中通过Nginx进行反爬虫测试:禁止Python爬虫直接爬取博客页面实战——以信息校验型User-Agent反爬虫为例后,在不断尝试cookie反爬虫时博主已经当场自闭。今天在请教了老师并测试想法后,发现一键安装的宝塔linux有个大问题,因此在这里记录一下。



主要问题

nginx配置文件基础知识

        nginx由模块组成,而这些模块由配置文件中特定的指令控制,也就是说nginx的配置文件决定了nginx及其模块的工作方式。nginx的配置文件分为主配置文件和辅助配置文件:主配置文件名为nginx.conf,默认存放在/etc/nginx目录中;辅助配置文件要求以.conf作为文件后缀,并且默认存放在/etc/nginx/conf.d目录中。注意的是,nginx允许同时存在多个配置文件。

问题提出

        按照nginx配置文件基础知识,博主成功找到了自己之前白嫖了一年的阿里云服务器上的nginx主配置文件:/www/server/nginx/conf/nginx.conf。值得注意的是,由于博主比较菜鸡又爱玩并且迫切想要搭建属于自己的个人博客,所以当时选择使用宝塔linux一键安装nginx。
        那么问题来了,在这个主配置文件/www/server/nginx/conf/nginx.conf中,哪怕是编写最基础的user-agent反爬虫都没有卵

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值