GTmustang的博客

自动容灾和负载均衡 自动容灾 1 配置下游的两个采集方案 1）hadoop02上配一个下游 [root@hadoop02 ~]# mkdir flumeconf [root@hadoop02 ~]# vim ./flumeconf/processorDown1.properties #定义三大组件的名称 和关联 a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c

flume的选择器和拦截器 1 flume的选择器 flume的选择器是作用在source端，用于将不同event分发到不同的channel里，flume内置的选择器有两种，分别如下： Replicating：复用选择器，作用是将event拷贝到不同的channel里 Multiplexing：多副路选择器，作用是根据不同的条件将不同的event分发到不同的channel里 Replicating选择器的案例演示 需求：将event拷贝到两个channel中，使用两个sink来各自接收一个channel的数

flume八种采集方案 案例1）avro+memory+logger logger通常用于测试，数据流中的event最终显示在屏幕上 1）采集方案的配置 [root@hadoop01 ~]# mkdir flumeconf [root@hadoop01 ~]# vim ./flumeconf/avro-mem-logger.properties #定义三大组件的名称 和关联 a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.chann

Hbase完全分布式搭建 1 简要说明 完全分布式，指的就是除了hmaster守护进程外，有多个regionserver守护进程，并且每一个regionserver守护进程独占一个机器节点。使用的文件系统是HDFS。 布局如下： hadoop01: hmaster regionserver hadoop02: hmaster regionserver hadoop03: regionserver 环境说明： 必须配置好集群的免密登录认证 必须配置时间同步。保证集群节点的时

hive窗口函数 1.聚合函数over():指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化–eg:查询在2015年4月份购买过的顾客及总人数 select name,count(*) over () from tablename; where substring(orderdate,1,7) = '2015-04' 2.partition by子句:将数据按照边界值分组–eg:看顾客的购买明细及月购买总额 select name,orderdate,cost,sum(cost) o

Zookeeper安装 1. 将zookeeper-3.4.10.tar.gz上传到/root中 2. 解压 [root@hadoop01 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/ 3. 更名zookeeper [root@hadoop01 ~]# cd /usr/local/ [root@hadoop01 local]# mv zookeeper-3.4.10 zookeeper 4. 配置环境变量 [root@had

Hadoop----->完全分布式集群的搭建 在搭建伪分布式集群之前确保以下工作已经完成 1.确保防火墙是关闭的. [root@hadoop01 ~]# systemctl disable firewalld.service 2.NAT模式和静态IP的确定 （192.168.10.101） [root@qianfeng01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.10.101 3.确保/etc/hosts文

Hadoop----->伪分布式集群的搭建 在搭建伪分布式集群之前确保以下工作已经完成 1.确保防火墙是关闭的. [root@hadoop01 ~]# systemctl disable firewalld.service 2.NAT模式和静态IP的确定 （192.168.10.101） [root@qianfeng01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.10.101 4.确保/etc/hosts文件