TroubleShooting
关注
分享
扫一扫
Teddy1982
这个作者很懒，什么都没留下…
展开
-
Scrapy反爬虫之521异常
引子最近在爬取一个网站时, 遇到了521错误, 这是一种网站的反爬技术, 浏览器会渲染很多东西,代码爬数据会漏掉浏览器渲染的信息思路可以尝试复制浏览器的cookie信息, 加在请求头中, 但是这样只能获取单个域名的网页。恰巧我需要爬取的网站下面有多个二级域名的网页(二级域名网页的链接可以通过一级域名获取), 复制每个二级域名的cookie来爬取每个二级域名的网页是不太可能的进一步...原创 2019-12-22 13:43:29 · 1849 阅读 · 0 评论 -
Spring Cloud Trouble Shooting
com.netflix.zuul.exception.ZuulException: Hystrix Readed time out通过API网关路由来保存品牌，保存成功后, zuul网关报Hystrix超时这个错误是因为zuul的默认超时时间比较小，我们配置下zuul的超时时间，因zuul启用了ribbon的负载均衡，还需要设置ribbon的超时时间，注意ribbon的超时时间要小于zuu...原创 2019-12-01 10:26:48 · 448 阅读 · 0 评论 -
虚拟机的Ubuntu扩容
起因是最近在做一个爬虫项目, 需要用到scrapy-splash去抓取一些javascript生成的html, 但是在通过docker安装scrapy-splash的过程中发现即使给做爬虫的虚拟机增加了硬盘, 虚拟机中始终报硬盘空间不足, 这时才发现原来虽然在VMware中给虚拟机增加了空间, 但在Ubuntu中还需要进行分区并且格式化, 很长时间不做分区格式化的事情, 其实在windows中一块...原创 2019-11-16 11:11:14 · 449 阅读 · 0 评论 -
Scrapy的问题
python scrapy 爬虫ImportError: No module named itemsspider名字和project项目名不相同scrapy爬虫出现Forbidden by robots.txt关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决观察scrapy抓包时的输出就能发现，在请求我们设定的ur...原创 2019-11-03 21:21:31 · 275 阅读 · 0 评论 -
java.security.InvalidKeyException: Illegal key size or default parameters
今天在搭建一个项目的环境时, 遇到了java.security.InvalidKeyException: Illegal key size or default parameters错误, 貌似是加/解密出了问题.产生错误原因：为了数据代码在传输过程中的安全，很多时候我们都会将要传输的数据进行加密，然后等对方拿到后再解密使用。我们在使用AES加解密的时候，在遇到128位密钥加解密的时候，没有进...原创 2019-10-20 06:37:32 · 2541 阅读 · 0 评论