Apache_Jerry的博客

在centos7上面搭建 DataSphereStudio 精简版, 一切安装成功之后, 发现访问 ip:8088 一直显示 403 forbidden, 一直以为是软件装的不对, 追个排查之后才发现是 nginx的问题,nginx的 配置他没写, 我们使用的是默认配置, 默认配置下 nginx 的程序用户是nginx用户, nginx 用户没有权限访问dss 的web资源.nginx 报错日志:2020/12/16 14:26:02 [error] 5951#0: *1 "/home/bank/dss

Spark 优化资源调优1. 阻塞间隔有一个配置参数：spark.streaming.blockInterval，它的意思是每间隔多少秒后，Spark才把接收到的数据组成数据块存到Spark中。官网推荐的最小值是50ms，默认值200ms。假设实例化InputDStream时设置的Duration(batch interval)为1秒（1000ms），那么任务执行时，总共有 1000 / 2...

日志信息WARN metadata.Hive: No partition is generated by dynamic partitioningWriteAheadLogBasedStoreResultFutures timed out after这边是表在HDFS中的路径,可以看出,有数据时,会有.hive_stagexxxx 这样的文件, 无数据进来就没有,这时候Streami...

HDFS HA 的两个NameNode 都是备用状态，怎么解决？方法：重启，不管用。。。。。。查看日志，/var/log/ 里面的NameNode 日志，发现有这么一段java.lang.IllegalArgumentException: Unable to determine service address for namenode 'namenode87'我们继续到配置文件中找n...