weixin_44011994的博客

HDFS的Shell客户端操作 1．基本语法 bin/hadoop fs 具体命令 2．命令大全 [root@hadoop101 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src>...

kafka笔记: kafka是分布式的消息队列,,数据读写的服务 名词有: broker:节点 topic:主题,数据的标记(可以理解为一个队列) partition:分区,将同一个标记的数据平均打散成n块 repartition:副本,备份数据的 leader:用来提供读写服务的 follower:同步数据 controller:选举leader failover:故障转移机...

1、hive抓取策略 hive.fetch.task.conversion = more/none more不走mr，none走mr 2、explain 显示执行计划 3、设置本地运行模式 set hive.exec.mode.local.auto = true hive.exec.mode.local.inputbytes.max 默认12...