
大数据
小城印象
这个作者很懒,什么都没留下…
展开
-
搭建Hadoop最少需要几个节点
可以按服务所需的最小节点数进行规划zookeeper服务最少需要3个节点,且扩展时需为奇数个才行。HDFSHDFS中的NameNode需要2个节点,主备配置原创 2022-06-09 10:16:56 · 2030 阅读 · 0 评论 -
华为ELK的几个知识点
1.ELK是运行在FusionInsight HD平台中的。安装ELK之前必须先安装FusionInsight HD集群。2.ELK依赖FusionInsight HD中的两个组件,分别是HDFS和Yarn3.ELK必须部署在HDFS的DataNode所在数据节点上,至少部署3个。原创 2021-09-16 11:11:12 · 922 阅读 · 0 评论 -
Spark与hive集成、Hive On Spark 、使用Spark SQL进行数据查询配置流程
本文主要是介绍在开源hadoop上使用Spark SQL进行数据查询。有关本文的各组件版本如下:1、hadoop版本[root@hadoop01 ~]# hadoop versionHadoop 2.7.72、hive版本hive 2.1.13、Spark和scala版本Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\原创 2021-03-29 17:46:32 · 730 阅读 · 1 评论 -
File XXX could only be replicated to 0 nodes instead of minReplication (=1).
使用如下命令加载HIVE数据时,load data local inpath ‘/usr/local/testdata/smalltable’ into table testtab1;一直报错,错误信息如下:2021-03-27 08:47:59,819 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock原创 2021-03-28 20:15:55 · 506 阅读 · 0 评论