- 博客(11)
- 收藏
- 关注
RSS订阅原创 ambari添加ranger服务管理hdfs和hive遇到的问题
ranger开启hdfs插件后活自动生成一个默认的service，然后在点击service进入添加police。开启hive插件没有自动生成默认的service，查看ranger.admin.log(access_log.2020-09-17.log)可以看到下面信息10.31.53.83 - - [17/Sep/2020:09:04:07 +0000] "GET /service/plugins/policies/download/HDP_BigData_hive?lastKnownVersion=
2020-09-17 17:15:30
955
原创 docker部署flink standalone HA
简单的standalone模式可以从dockerhub上找到。HA：先从https://github.com/docker-flink/docker-flink这个网址把文件拉取出来。然后把文件放到Linux系统，进入文件目录。执行./add-version.sh -r flink-release -f flink-versionflink-release 是指已经build的文件目录...
2019-12-25 15:40:42
2148
原创 Flink启动报Could not resolve ResourceManager address
1 可能是resourcemanager进程没启动2 两个NN都是standby状态3 检查flink-conf.yml文件里的hdfs文件路径是否正确还有就是用docker部署flink时也遇到这个问题了，还在处理中。...
2019-12-24 14:11:48
2288
2
原创 低级错误 too many open file
出现这个错误一个原因是打开文件过多或者是打开socket过多，网上有解决办法。还有一种可能是因为程序出错，我的错误是kafka生产者程序中用Springboot 一直在new kafkaTemplate（），也就是一直在和kafka产生新的连接导致错误。...
2019-12-20 08:43:00
247
原创 datanode 无法启动，错误All specified directories are failed to load或者livenodes数量为1
解决办法初始化namenode另一种方法说把version覆盖，这种方法没用，虽然datanode启动了，但是可以在web界面看到datanode并没有增加。
2019-12-17 14:31:31
219
原创 zookeeper Cannot assign requested address
系统一直分配端口 导致没有端口可以使用netstat -anp ｜ grep 2888发现有很多WAIT_TIME ，用了网上推荐的办法还是没有解决。最后重新安装zookeeper解决问题。...
2019-12-17 11:24:01
672
转载 flink on yarn的两种任务提交方式
转载自：https://www.cnblogs.com/asker009/p/11327533.html
2019-12-16 15:09:39
538
原创 flink启动报错
flink 启动报错flink on yarn 启动报错：连接不到xxx：8032我的原因是flink.yaml中dfs的地址错误。还有就是启动时进行内存检测，内存不足报错：2018-05-19 15:30:10,456 WARN akka.remote.ReliableDeliverySupervisor - Association wi...
2019-12-16 14:45:12
2085
原创 atlas导入hive元数据遇到的错误
nosuchmethoderror:com/fasterxml/jackson/databind/util/beanutil解决办法：删除掉hook/hive/atlas-hive-plugin-impl/Jackson-databind-*
2019-09-05 16:11:33
1358
3
原创 zabbix邮件报警
在zabbix安装完成之后首先更改 管理-报警媒介类型smtp的相关配置可以到对应的邮箱设置里寻找，而且要正确，不然会遇到各种奇怪的问题。强调一点安全连接和认证必须打开。不然会发生：error receiving initial string from smtp server :[4]interrupted system call邮箱密码我使用了授权码，不知道邮箱的密码是否可以。然后...
2019-08-28 10:35:36
728
原创 spark消费protobuf序列化的kafka数据存到hbase
遇见问题寻求解决办法因为不知道是什么原因引起了这个问题，所以就尽可能详尽的把所有东西都贴上了，如果是没用的可以自行跳过。流程是从用spark从kakfa读取数据，将数据存储到hbase里面。数据用protobuf序列化，所以反序列化时用到了protobuf里面的ListValue方法。然后本地运行得时候数据可以存到hbase，但是将程序打成jar包在集群上用standalone模式运行会报错...
2019-08-07 16:30:37
1471
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人