大数据复习笔试试题——涉及hadoop\zookeeper\HA\Hbase\Hive\Spark\scala

这是一份大数据复习的笔试题,包括Zookeeper的功能和集群角色,Hadoop核心组件及命令操作,HDFS的角色与默认配置,Spark集群启动,MapReduce的WordCount实现,Hive的启动注意事项,Hbase的HMaster和HRegionServer职责,以及Spark RDD的操作示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 简答题(每题10分,共50分)

1.zookeeper底层提供两个主要功能是什么?zookeeper集群角色有哪些?

功能:1.管理数据:存储和查询的功能 [利用HDFS实现存储,利用YARN实现查询

2.数据节点监听服务

集群角色:leaderfollower

 

 

2.hadoop核心组件有哪些及主要作用?由A服务器免密码登陆(ssh)到B服务器,执行的命令分别什么?

HDFS:分布式存储

YARN:分布式查询;

 

命令:

A上:ssh-keygen (回车

  ssh-copy-id B

 

 

3. 利用shell客户端命令从本地文件 /home/Teacher/somewords.txt上传到HDFS分布式文件..系统的 /wordcount/input目录下?利用shell客户端命令查看HDFS文件系统的分析结果?

本地上传到HDFS

hadoop fs -put /home/Teacher/somewords.txt  /wordcount/input

hadoop fs -ls  /wordcount/input

hadoop fs -cat /wordcount/input

 

 

4. HDFS集群中两大角色及作用分别是什么?Hadoop2.X中</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值