
大数据
侠女 贝勒爷
软件工程专业人才,精通干饭、死猪睡等高深领域
展开
-
flink连上了Kafka 却接收不到数据
**flink连上了Kafka 却接收不到数据**首先在 kafka的 config/server.properties 里增加注意是自己的IP地址############################# Socket Server Settings #############################listeners=PLAINTEXT://192.168.149.50:9092host.name=192.168.149.50然后在window地址里修改正确的IP地址注意之原创 2021-05-18 18:42:54 · 3077 阅读 · 1 评论 -
kafka是什么?简单易懂解说笔记,包括Kafka常考面试题
Kafka是什么?Kafka是一个分布式基于发布、订阅模式的消息队列。什么?不懂?没问题,我慢慢讲给你听先了解一下kafka内容:1、消息、生产者、消费者2、主题、分区3、broker、集群1、为什么要使用kafka:因为如果不通过一个管道来传输消息时,生产者直接推送给消费者消息会导致推送,会很杂乱,消费者接收能力也有限,并且耦合性非常高,迁一而发动全身,而Kafka就是这样的一个管道邮箱角色,生产者把所有消息放进管道内,消费者需要时在从管道内读取所以整个链分为生产者、消息、消费者2、那么原创 2021-01-24 17:29:46 · 305 阅读 · 0 评论 -
HA Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer
我的是HA hbase第三台虚拟机的HRegionServer没有起来,如果配置正确的话,那一定就是虚拟机找错位置了所以报错 2021-01-06 18:01:34,576 ERROR [main] regionserver.HRegionServerCommandLine: Region server exitingjava.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase原创 2021-01-06 10:24:43 · 697 阅读 · 0 评论 -
Hadoop HA storage directory does not exist or is not accessible.
我的是slave2的namenode节点没起来,查看日志发现报了这个错storage directory does not exist or is not accessible.原因:是因为先拉取了镜像后hdfs namenode -bootstrapStandby,在格式化的,没有获得image文件解决:先重新格式化一次,master上开启namenodehadoop-daemon.sh start namenode切换到namenode2上拉取镜像文件 注意是2哦hadoop-dae原创 2021-01-04 13:36:45 · 1878 阅读 · 0 评论 -
hbase jps没有hmaster和hregionsever 报zookeeper.ClientCnxn:java.net. ConnectException:拒绝连接
hbase jps没有hmaster和hregionsever查看日志发现在hbase-site.xml文件的 hbase.rootdir 这个里添加一个9000端口就ok了原创 2020-12-18 09:29:26 · 1944 阅读 · 0 评论 -
Can‘t get connection to ZooKeeper: KeeperErrorcod=Connecti报错,zookeeper连接不上,解决办法
org.apache.hadoop.hbase.MasterNotRunningException: org.apache.hadoop.hbase.MasterNotRunningException: Can’t get connection to ZooKeeper: KeeperErrorCode = Connecti报错,zookeeper连接不上,解决办法如果其他博客里的这个解决办法都没有解决,那就试试我的先查看一下Hbase下的conf里的Hbase-env.sh里有没有配置Hadoop_H原创 2020-12-14 14:32:16 · 2127 阅读 · 0 评论 -
Hbase无法stop关闭 解决方法
Hbase无法stop关闭 解决方法首先去Hbase下查看logs日志[root@master hbase-1.4.13]# cd logs然后ll查看[root@master hbase-1.4.13]# ll查看mster日志[root@master logs]# cat 12月 11 10:23 hbase-root-master-master.log看最下面报的什么错,我的是hdfs进入了安全模式,拒绝连接了,hdfs dfsadmin -safemode leave退出安全模原创 2020-12-11 10:41:00 · 4637 阅读 · 1 评论 -
phonix三种创建视图的方式
创建视图的三种方式为了避免影响hbase的表信息,最好是创建一个视图。然后在视图的基础上,再创建其它视图。第一种视图,假如HBase中存在表”student”,需要以视图的方式,操作它,那么开始创建视图#需要删除phoenix中存在的“student”表:CREATE view "student"("ROW" varchar primary key,"info"."age" varchar,"info"."name" varchar,"info"."sex" varchar);CRE原创 2020-11-27 09:10:59 · 1664 阅读 · 0 评论 -
启动resousmanager报错java.lang.NullPointerException
启动resousmanager报错nullpoint原因:yarn里面的系统状态对不上,报空指针错误解决:把tmp目录下nm开头临时文件夹删掉原创 2020-11-21 19:12:13 · 542 阅读 · 0 评论 -
HA、zookeeper高可用集群搭建配置流程
hadoop完全分布式配置新建虚拟机修改时间为亚洲 上海时区修改密码越简单越好1、关闭防火墙systemctl stop firewalldsystemctl disable firewalld永久关闭防护墙修改配置文件vi /etc/selinux/config修改SELINUX=disabled2、修改网络配置vi /etc/sysconfig/network-scripts/ifcfg-ens33修改静态IPBOOTPROTO=static修改启动时激活网卡ONBOOT原创 2020-11-21 17:17:09 · 774 阅读 · 1 评论 -
伪分布式集群、完全分布式搭建步骤详情
**伪分布式集群、完全分布式搭建步骤详情4.1 伪分布式模式介绍1.特点 - 在一台机器上安装,使用的是分布式思想,即分布式文件系统,非本地文件系统。 - Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode)都运行在一台机器上,都是独立的java进程。2. 用途 比Standalone mode 多了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交 互。4.2 平台软件说明- 操作系统: win10/win原创 2020-11-21 16:20:55 · 2122 阅读 · 2 评论