
zooper
文章平均质量分 63
格格巫 MMQ!!
==========青春肆意飞扬,热爱经久不息。==============
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
zookeeper未授权访问修复建议
setAcl /path auth:用户名:密码明文:权限。addauth digest 用户名:密码明文。为ZooKeeper配置相应的访问权限。1)增加一个认证用户。原创 2022-11-21 21:00:25 · 2291 阅读 · 0 评论 -
ZooKeeper设置ACL权限控制,删除权限
因为zookeeper会默认启动这几个具有world和cdrwa权限的znode,“/” “/zookeeper” “/zookeeper/config"和”/zookeeper/quota"(根据zookeeper的版本不同可能存在不同,并且这几个节点虽然具有world和cdrwa权限,但是是无法删除的,不知道为什么,好在我们可以给它设置ACL列表。注:这5种权限中,delete是指对子节点的删除权限,其它4种权限指对自身节点的操作权限。好了,到这里,才是真正的解决了这个未授权访问漏洞问题了。原创 2022-11-21 20:58:35 · 3166 阅读 · 0 评论 -
INFO zookeeper.ClientCnxn: Opening socket connection to server***/192.168.80.151:2181. Will not
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)at org.apache.zookeeper.ClientCnxnSendThread.run(ClientCnxn.java:1081)18/06/1617:57:01INFOzookeeper.ClientCnxn:Openingsocketconnectiontoserverbigdata−pro02.kfk.com/192.16原创 2022-07-25 16:34:14 · 1241 阅读 · 0 评论 -
zookeeper 客户端连接报: Will not attempt to authenticate using SASL
如果查看防火墙状态是dead,stop了,但是还是不行,就需要vim/etc/sysconfig/iptables,把-AINPUT-mstate--stateNEW-mtcp-ptcp--dport2181-jACCEPT。当然,有的时候,由于特殊情况,我们在操作的时候难免粗心大意,这个时候也会有上述问题,尤其是,你发现自己的虚拟机没有防护墙规则的时候,这个时候就需要仔细的去查看配置了。解决方法我在学习zk的时候,用客户端连接zk,发现接收不到watch通知,并且报。.........原创 2022-07-25 15:21:08 · 1005 阅读 · 0 评论 -
Still have 1 requests outstanding when connection from slaveX/X.X.X.X:33202 is closed
看了一下同事的代码,里面有一个groupby的操作,而且指定了partitionnum是2000,executors是60。并发连接数超过了其承载量,服务器会将其中一些连接Down掉,这也就是说在运行spark程序时,过多的申请资源并发执行。并且需要将某些hive表读取到dirver节点上,用来获取每个executor上某些数据的映射值,运行时抛出的异常信息,从网上查了下原因大致是服务器的。运行的程序其实逻辑上比较简单,只是从hive表里读取的数据量很大,差不多60+G,...原创 2022-07-23 18:44:29 · 1834 阅读 · 0 评论 -
storm ui 启动失败,zooper重启解决方案
给大家写了一个zk集群,如果你linux命令的基础部分 搭建zk集群是很简单的事情,zk集群搭建好了我们怎么连接zk 客户端,进行操作那?接下来就给大家演示如何使用zk shell 的使用补充:登陆zooper客户端删除操作删除storm操作 重启zooperzkCli.shzkCli.sh启动zooper./zkServer.sh startrm -rf localdir/*nohup ./bin/storm nimbus> /dev/null 2原创 2022-03-14 10:14:35 · 2602 阅读 · 3 评论 -
CDH中MYSQL的作用
CM底层自动部署安装数据库进行系统配置、schema等并进行相应管理。同时CM也支持使用外部数据库作为系统配置、数据表结构等的底层存储,具体支持的数据库包括:MySQL:5.1、5.5、5.6、5.7PostgreSQL:8.1、8.3、8.4、9.1、9.2、9.3、9.4Oracle:11gR2、12c一般来说外部元数据库都会采用系统自带的MySQL服务。 确保以下配置: 、增加数据库的最大连接数确保数据库支持UTF-8编码配置为主备模式,参考如何实现CDH元数据库MySQL的主备为了.原创 2021-05-25 13:33:44 · 612 阅读 · 0 评论 -
CDH简单介绍及体系架构
官网介绍CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。简单来说:CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得集群的安装可以从几天的时间缩短为几个小时,运维人数也会从数十人降低到几个人,极大的提高了集群管理的效率。为什么选择CDH部署C原创 2021-05-25 13:29:04 · 1611 阅读 · 0 评论 -
CDH组件简介
1.HDFS:Hadoop分布式文件系统被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Ha原创 2021-05-25 13:14:52 · 1207 阅读 · 0 评论 -
EndOfStreamException: Unable to read additional data from client sessionid 0x0, likely client has cl
今天在hbase中执行下面的命令disable ‘iw:test06’alter ‘iw:test06’,NAME=>‘i’,COMPRESSION=>‘SNAPPY’count ‘iw:test06’提示下面的异常信息2018-01-15 10:49:20,660 [myid:2] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket connection for.原创 2021-05-21 16:21:26 · 6476 阅读 · 0 评论