- 博客(5)
- 收藏
- 关注
原创 gcloud crashed (SSLError): HTTPSConnectionPool(host=‘oauth2.googleapis.com‘, port=443): Max retries
在用gcloud sdk时,登录账户执行gcloud auth login。经过测试切换不同代理 :应用部分代理是可以成功的,所以主要是代理引起的。
2024-04-09 15:26:19
633
1
原创 解决HIVE集群启动,yarn任务调度 初始化时,非常慢
为解决该问题,把所有yarn任务都关停,开启简单单任务,观察任务执行情况,发现在单任务情况下,yarn top命令也需要较长时间才能显示,显示结果都正常,并排查集群资源占用情况,都属于正常范围。经过多次任务启停、集群启停发现时间都超过40s后才能够正常。现网新部署的HIVE集群,通过应用测试环境打包镜像部署,HIVE集群配置与测试环境保持一致,使用hive命令链接集群时,响应时间较慢,并且查询数据量较少的表时,查询时间远远大于正常时间,无相关报错日志,所有机器cpu、内存资源都较充足。
2023-12-25 14:25:39
765
2
原创 crawl4j介绍
crawl4j使用介绍crawler4j是Java的开源Web爬网程序。一、配置介绍crawler4j可以通过简单的配置即可完成一个爬虫、crawler4j主要通过 CrawlConfig 进行配置 ,详细参数:属性 是否必填 类型 默认值 建议值 含义 crawlStorageFolder 是 String null 爬虫实例使用到的文件夹,文件夹里面会存储一些爬取到的数据、任务之类的 .
2021-03-12 18:24:18
1213
原创 记一次jsch ssh登录失败 End of IO Stream Read 异常的处理
记一次jsch ssh登录失败 End of IO Stream Read 异常的处理问题 环境: jdk1.8、jsch-0.1.54.jarssh登录日志报错:at com.jcraft.jsch.Session.connectcom.jcraft.jsch.JSchException: Session.conne...
2021-01-20 10:52:58
9582
6
原创 clouder-manager安装kafka
前言由于本人基于spring-boot使用spring-kafka来连接kafka的,所以要考虑到spring-boot版本对应的kafka版本,还需要考虑到clouder-manager对应的kafka版本。其实网上这块介绍也挺多的,但是本人翻阅了一些,最终还是导致版本不一致,所以在此记录下安装过程。版本介绍clouder-manager :5.9.3spring-boot...
2019-06-20 10:17:51
714
13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人