
大数据
JontyYang
这个作者很懒,什么都没留下…
展开
-
linux 配置ntp时间服务器
linux 配置ntp时间服务器安装ntp安装ntpsudo yum -y install ntp确认是否安装ntprpm -qa|grep ntp我现在有三台机器,master 192.168.22.131slave1 192.168.22.128slave2 192.168.22.130网关192.168.22.2配置ntp服务(1)选择master作为ntp服务器,修改/etc/ntp.conf(2) 修改ntp客户端slave1,slave2的/etc/ntp.conf原创 2020-12-04 01:27:14 · 291 阅读 · 0 评论 -
Hadoop生态系统
HDFS:将多台机器的文件系统逻辑上看成一个整体。HDFS集群分为两大角色:NameNode、DataNodeNameNode负责管理整个文件系统的元数据DataNode 负责管理用户的文件数据块4.文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上5.每一个文件块可以有多个副本,并存放在不同的datanode上Datanode会定期向Namenode汇报自身所保存的文件block信息,而namenode则会负责保持文件的副本数量7.HDFS的内部工作原创 2020-05-30 16:07:40 · 366 阅读 · 0 评论 -
sqoop导入oracle数据至hbase
sqoop导入Oracle数据至hbase在开始之前,我首先要啰嗦几句,在下载相应的sqoop时,一定要注意你的hadoop,hbase等的版本是否与你下载的sqoop版本兼容。据我所知,sqooop1.4.6只支持hbase1.0.1以及之前的版本,而我的hbase版本为1.4.9,所以我下载了sqoop1.4.7的版本(我在导入数据的时候就吃了版本不兼容的亏了)。你还可以查一下sqoop1...原创 2020-01-10 10:48:56 · 885 阅读 · 3 评论