
Hadoop
文章平均质量分 81
sunny05296
这个作者很懒,什么都没留下…
展开
-
Java访问Hive的几种JDBC URL格式
zookeeper quorum:是 hive-site.xml 配置文件中 Zookeeper 的 Quorum 节点列表,以三节点为例格式为:zk_host01:zk_port,zk_host02:zk_port,zk_host03:zk_port。4)hive2 server HA(zookeeper)方式访问(带Kerberos认证) JDBC URL。2)hive2 server HA(zookeeper)方式访问 JDBC URL。1)hive2 server 单点访问 JDBC URL。原创 2024-08-05 20:59:55 · 1459 阅读 · 0 评论 -
hadoop 常用命令
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后,重启 datanode 服务,问题就解决了。-- load后会在配置文件决定的固定目录下产生一个表名对应的目录,目录下为对应的数据文件。原创 2024-03-26 07:05:44 · 914 阅读 · 0 评论 -
Centos7 Hadoop 2.7.3 + Hive + HBase + Kerberos 集群环境搭建
Hadoop集群中不同主机扮演不同的角色,主要分下面几种:Master NameNode NameNode用于管理文件系统HDFS ,维护文件系统树结构和文件元数据。当有新文件要写入系统时客户端会先向NameNode查询当前文件系统的状态,然后得知自己可以往哪里写入,最后实际写入文件系统,这中间NameNode就是管理主要信息的核心设备。 ResourceManager ResourceManager用于管理和分配工作,它是所有工作的总调度程序。Slave ...原创 2021-08-29 10:56:27 · 723 阅读 · 0 评论