无法通过公网IP访问windows下Scrapyd

最新推荐文章于 2020-07-17 15:47:05 发布
原创 最新推荐文章于 2020-07-17 15:47:05 发布 · 805 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scrapyd #爬虫 #python #分布式

本文分享了在Windows环境下，成功实现scrapyd服务公网访问的经验。作者通过对比W10与WinSrv2012的配置，发现防火墙规则中6800端口的设置是关键，最终解决了WinSrv2012无法公网访问的问题。

Windows环境下：
一般无法通过公网IP访问scrapyd服务，无非是配置文件没有将bind_address修改为0.0.0.0，或者防火墙没有配置6800端口。
我在微软云上创建了两个云主机实例：一个W10，一个Win Srv2012，W10在防火墙规则里加上6800端口，然后安装scrapyd服务，配置文件的bind_address修改为0.0.0.0，启动scrapyd就可在外网通过公网ip访问
对于Win Srv2012来说做了以上同样的操作，仍然无法通过公网ip访问，这让我一脸懵逼啊，操作都是一样，为啥一个行一个不行？后来想到会不会是操作系统不同的问题？然后我比对了一下防火墙的入站规则，也没什么区别，不过还是尝试在win2012的入站规则里加了6800端口，结果竟然好了。。。具体原因小生才疏学浅不太明白这是什么原理，如果有大神知道还请指教回复我一下

阿里云服务器＞无法通过公网ip地址访问网站
王小二
10-09 1245
阿里云服务器自建网站却发现无法通过公网ip地址访问网站
scrapyd部署到服务器
web_9705的博客
05-23 4056
1、首先把自己的scrapy项目上传到阿里云服务器2、修改scrapy.cfg 文件[deploy:设置部署名称tencent]取消注释url行3、命令窗口输入：scrapyd-deploy -l     启动服务，可以看到我们设置的部署名称4、执行打包命令： scrapyd-deploy 部署名称 -p 项目名称scrapyd-deploy tencent -p Tencent此时，scrapy...
无法通过公网IP访问Scrapydweb
qq_38829844的博客
07-17 498
在云服务器上成功部署了scrapyd和scrapydweb但是却无法通过公网ip+5000端口访问scrapydweb的可视化界面。此时一般检查两个地方：1.服务器管理员是否将5000这个端口开放；2.自己是否将5000端口加入到防火墙的入站规则 ...
服务器开启Scrapyd后, 客户端无法访问
BPJanson的博客
01-13 1403
在centOS7上开启scrapyd后, 在本地浏览器输入ip:6800却无法访问, 而在此之前我已将scrapyd的default_scrapyd.conf的bind_address修改为0.0.0.0 在网上看了一圈, 发现是因为我的服务器没有开放6800端口, 所以也就无法访问 总结一下防火墙开放6800端口的方法(使用iptables) iptables -I INPUT -m state...
windows下的scrapyd-deploy无法运行的解决办法
夏冬丶王阳旭
11-09 7696
在windows环境中，当我们需要部署scrapy项目到服务器时，常用到scrapyd，作为部署管理工具，在服务器端安装scrapyd并运行后，就可以正常使用。但是，当我们需要将windows本地的scrapy项目部署到服务器上时，需要安装scrapyd-client，用于打包项目，并发送给远程的scrapyd。 但在windows上，pip install scrapyd-client 后。在
scrapyd运行后被拒绝访问1
qq_43595237的博客
11-18 1185
问题起因 scrapyd是用来进行scrapy项目部署的程序，最近运行了scrapyd后发现从外网进行访问却被拒绝，第一反应则是腾讯云的服务器安全组策略的问题，但发现其实6800端口早已打开了 寻找问题 在scrapyd的运行后查看运行的日志，发现 [-] Scrapyd web console available at http://127.0.0.1:6800/ 原来端口是在本地进行绑定，而不...
Scrapy 通过代理（Proxy）爬取外部网站
踢砖头
12-20 8736
Scrapy 通过代理（Proxy）爬取外部网站通常我们不需要特殊处理就能直接的访问WWW。但当你处于内部网络通过代理访问外部的时候，或者一些特殊的情况下，你会需要这个技能。默认你已经会用Scrapy制作蜘蛛了。你可以参考我的另一个介绍页面，或者其他更详尽的教程。最简单直接的办法就是在蜘蛛的开头设置系统环境变量像这样：import os # 设置相应的代理用户名密码，主机和端口号 os.enviro
关于Flask项目无法使用公网IP访问的解决方式
01-20
最近在折腾Python Web，在测试的时候发现，本机可以正常访问，但外网无法通过公网IP访问页面。经过各种搜索，有大致三种解决方案。 一、修改/添加安全组端口 这是第一种方案，也是能解决大部分问题的一个方案。 由于...
docker下载nginx镜像并配置，然后通过公网ip访问
01-20
实验环境： 一台Liunx服务器（内网可也以） ...执行命令： docker pull nginx //从docker自带的源把nginx的镜像下载下来 docker images //查看刚才下载的镜像文件 ...docker run -itd --name nginx -p 5555:80 nginx ...
内网用户通过域名或公网IP访问内部服务器的解决办法
04-23
内网用户通过域名或公网IP访问内部服务器的解决办法 在这个解决方案中，我们将讨论如何让内网用户通过域名或公网IP访问内部服务器。这个解决方案可以分为两部分，一部分是内网用户和内部服务器不在同一个网段，另一...
scrapyd远程连接配置
weixin_33813128的博客
12-03 242
安装scrapyd： pip install scrapyd 默认scrapyd启动是通过scrapyd就可以直接启动，bind绑定的ip地址是127.0.0.1端口是：6800，这里为了其他主机可以访问，需将ip地址设置为0.0.0.0 即将 bind_address = 127.0.0.1 改为 bind_address = 0.0.0.0 scrapy...
scrapyd设置远程登录
weixin_43880277的博客
01-02 676
scrapyd设置远程登录 scrapyd是管理爬虫一个模块，可以查看爬虫的运行状态。 安装： pip install scrapyd#linux下 使用的python3.6版本 安装完成之后 可以测试下 是否 已经可以使用： linux: curl http://localhost:6800/ Windows：因为安装完成之后默认的是本机进行连接，所以如果想要远程访问，则需要修改scrapyd...
windows下安装后scrapyd-client 后，无法启动scrapyd-deploy
西门大盗 捉虫专家
12-10 650
参考：https://www.jianshu.com/p/457003a8dbc4     遇到错误: 报错: 'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序或批处理文件   解决: 1.进入自己电脑安装python 的位置,找到Scripts文件夹,进入 2.创建文件 scrapy.bat 利用文本编辑器打开,添加内容:(注:拷贝粘贴即可,将路径改成自己电...
windows系统下利用scrapyd部署爬虫（scrapy）项目
qq_41911048的博客
12-29 551
1：首先python环境已经配置好 2：然后准备一个可以支持scrapy项目运行的虚拟环境，我再本地安装了python3 和Anaconda a：mkvirtualenv --D:\python\Anaconda\anaconda–tool\python.exe env(虚拟环境名称) b：然后进入虚拟环境下载安装scrapyd，和scrapyd-client两个包 3：进行部署 a：在虚拟环...
Scrapyd部署分布式爬虫（一）
小白一直白
02-25 1421
Scrapyd是一个部署和管理Scrapy爬虫的工具，它可以通过一系列HTTP接口实现远程部署、启动、停止和删除爬虫程序。Scrapyd还可以管理多个爬虫项目，每个项目可以上传多个版本，但只执行最新的版本。 Scrapyd的安装及运行 pip install scrapyd 安装完毕之后，Scrapyd在运行时需要读取/etc/scrapyd/scrapyd.conf文件，由于在Scrap...
scrapyd部署各种问题
jjonger的博客
04-01 3387
第一次弄爬虫部署 搞好久...  win7下弄的一、环境安装pytho scrapy scrapyd scrayd-client可以用后面三个装的有pip的话可以直接用pip装 很快看是否安装成功：在cmd里面输scrapyd  出现下面的画面就是成功了二、部署部分一般第一次弄的话直接敲 scrapyd-deploy 就可以 因为只有一个项目嘛但是这里在win下一般不会识别 需要自己添加两个文件在...
scrapy爬虫部署
weixin_30608131的博客
12-09 184
在开始之前先要吐槽一下优快云，昨晚怀着激动得心情写下了我人生中的第一篇博文，今天审核通过后发现所有的图片都不见了，瞬间就不开心了。所以不得不又申请了博客园的账号，重新开始。 前段时间一直研究通用爬虫，做的过程中也是各种问题，不过好在磕磕绊绊搞出点眉目，中间学到了不少东西，感觉互联网真的好神奇。 但是接下来问题来了，写的爬虫不能老在自己机器上跑吧，如何部署到服务器上呢，然后就开始研究scrap...
Cannot establish TLS with client: TlsException("SSL handshake error")
热门推荐
学海无涯
12-13 1万+
mitmproxy & python - ignore all hosts with https/ssl PC端安装mitmproxy，生成证书，并在手机端安装android证书，然后设置手机ip代理，仍然报错，错误如下图 找了两天终于在stackoverflow找到了解决办法。转载自> https://stackoverflow.com/questions/53309111/mi...
无法通过弹性公网ip访问阿里云服务器
最新发布
09-12
虽然给定引用未提及无法通过弹性公网 IP 访问阿里云服务器的解决方案，但结合常见的 IT 知识，以下是可能的解决方法： ### 检查网络连接和配置 - **确认弹性公网 IP 绑定**：检查弹性公网 IP 是否正确绑定到了目标阿里云服务器。可以前往弹性公网 IP 控制台，查看绑定状态。若未绑定或绑定错误，需重新进行绑定操作，在控制台选中 IP 后点击右侧“绑定实例”，选择对应服务器并确认 [^1]。 - **检查网络配置**：确保服务器的安全组规则允许相应的网络流量。比如，如果是通过 SSH 访问 Linux 服务器，需要开放 22 端口；若访问 Web 服务，需开放 80 或 443 端口。可以在阿里云控制台的安全组配置中添加或修改规则。 ```plaintext # 示例：开放 SSH 端口（22 端口）的安全组规则 协议类型：TCP 端口范围：22/22 授权对象：0.0.0.0/0 ``` ### 检查服务器状态 - **确认服务器运行正常**：登录阿里云控制台，查看服务器的状态是否为“运行中”。若服务器处于异常状态，如停止、重启中，需将其恢复到正常运行状态。 - **检查服务器防火墙**：检查服务器内部的防火墙设置，确保其没有阻止外部通过弹性公网 IP 的访问。例如，对于 Linux 系统，可以使用以下命令查看和修改防火墙规则： ```bash # 查看防火墙状态 systemctl status firewalld # 停止防火墙 systemctl stop firewalld # 禁止防火墙开机自启 systemctl disable firewalld ``` ### 检查网络服务 - **检查 DNS 配置**：确保服务器的 DNS 配置正确，若 DNS 配置错误，可能导致无法正常解析域名，影响访问。可以在服务器的网络配置中修改 DNS 服务器地址。 - **检查服务是否正常运行**：确认服务器上的目标服务是否正常运行。例如，如果是 Web 服务，检查 Apache 或 Nginx 是否正在运行： ```bash # 检查 Apache 状态 systemctl status httpd # 启动 Apache systemctl start httpd ``` ### 联系阿里云技术支持 如果经过上述步骤仍无法解决问题，可能是阿里云网络或服务器存在更复杂的问题，建议联系阿里云技术支持，提供详细的问题描述和相关信息，以便他们进一步排查和解决。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诗雅颂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值