
大数据
嘉平11
这个作者很懒,什么都没留下…
展开
-
Zookeeper ——选举机制
目前有5台服务器,每台服务器均没有数据,它们的编号分别是1,2,3,4,5,按编号依次启动,它们的选择举过程如下:服务器1启动,给自己投票,然后发投票信息,由于其它机器还没有启动所以它收不到反馈信息,服务器1的状态一直属于Looking(选举状态)。 服务器2启动,给自己投票,同时与之前启动的服务器1交换结果,由于服务器2的编号大所以服务器2胜出,但此时投票数没有大于半数,所以两个服务器的状...原创 2020-03-10 11:20:30 · 182 阅读 · 1 评论 -
Sqoop的实际使用
一、简单的测试,查看有哪些数据库$SQOOP_HOME/bin/sqoop list-databases \--connect jdbc:mysql://mini1:3306 \--username hive \--password hive//可以二、将数据导入到hive不指定分隔符的话,在hive中列的分隔符是\001,行的分隔符是\n验证:$SQOOP_H...原创 2020-03-09 00:55:36 · 740 阅读 · 0 评论 -
大数据——配置19888历史端口
在mapred-site.xml中做如下配置#参数是Hadoop一个自带的历史服务器的address。<property><name>mapreduce.jobhistory.address</name><value>mini1:10020</value></property><property>...原创 2020-03-03 18:26:29 · 2227 阅读 · 0 评论 -
hive的几种join、Spark中RDD、DF和DS的几种join
HIVEjoin left out join right out join full out join left semi join cross joinSparkRDD:join leftOutJoin rightOutJoin fullOutJoin使用示范: val b: RDD[(Int, String)] = a.keyBy(x=>x.length)...原创 2020-03-01 00:01:42 · 558 阅读 · 0 评论