我是菜鸟程序员的博客

（六）hbase学习笔记——1.1hbase入门1.Hbase的介绍2.Hbase的特点3.Hbase的安装4.Hbase的一般启动和停止5.Hbase的群启和群停 1.Hbase的介绍 Hbase建立在hdfs之上，支持随机写，随机的操作：Update+delete 只允许客户端查询时返回时间戳最新的数据！ Hbase支持海量数据的实时读写 Hbase是基于hadoop的数据库，提供一个十亿级行*百万级列级别的表存储，对标准的数据提供实时的堆积读写操作！ 2.Hbase的特点 优点： ①高容错性，高扩展的

（五）Kafka学习笔记——1.1Kafka基础1.什么是kafka2.kafka的安装和配置 1.什么是kafka 2.kafka的安装和配置

（四）flume学习笔记——1.2再识flume1.SinkProcessor2.事物 1.SinkProcessor Default Sink Processor 如果agent中，只有一个sink，默认就使用Default Sink Processor，这个sink prrocessor是不强制用户，将sink组成一个组！ 如果多个sink，多个sinl对接一个channel，不能选择Default Sink Processor Failover Sink Processor Failo

（四）flume学习笔记——1.1初识flume1.Flume介绍2.安装flume3.使用flume4.agent配置文件的编写5.案例 1.Flume介绍 Flume的核心概念 Source:用户需要根据自己的数据源的类型，选择合适的source对象！ Sink:用户需要根据自己的数据存储的目的地的类型，选择合适的source对象！ Interceptors:在source将event放入到channel之前，调用拦截器对event进行拦截和处理！ Channel Selectors:当一个

（三）hive学习笔记——1.3hive的函数1.Hive函数介绍2.hive常用函数 1.Hive函数介绍 函数有库的概念，系统提供的除外，系统提供的函数可以在任意库使用！ hive (default)> show functions;#查看当前库所有的函数 hive (default)> desc function year;#查看函数的使用 hive (default)> desc function extended year;#查看函数的详细使用 函数的分类 函数的分为

（三）hive学习笔记——1.2hive基础1.Hive常用的交互参数2.在hivecli中执行hdfs和linux命令3.Hive中的数据类型4.库的常见操作 1.Hive常用的交互参数 -d定义一个变量，hive启动后可以使用${变量名}引用变量。[hzhao@h2 ~]$ hive -d p=person hive (default)> select * from ${p}; OK person.name person.age hzhao 23 Time taken: 0.981 second

（三）hive学习笔记——1.1初识hive1.Hive介绍2.Hive的安装 1.Hive介绍 Hive是一个数据仓库软件 Hive可以使用sql来促进对已经存在分布式设备中的数据进行读，写和管理等操作！ Hive在使用时，需要对已经存储的数据进行结构的投影（映射） Hive提供了一个命令行和JDBC，让用户可以连接到hive！ 注意：hive只能分析结构化的数据！Hive在hadoop上，使用hive的前提是安装hadoop！ Hive的特点 Hive不是一个关系型数据库 Hive不是基

（二）zookeeper学习笔记——1.1初识zookeeper

（一）hadoop集群搭建——1.4hdfs的操作1.HDFS优缺点 1.HDFS优缺点

（一）hadoop集群搭建——1.3hadoop安装与配置1.jdk安装2.hadoop安装 1.jdk安装 在机器h2上传jdk安装包到/opt/soft目录下，然后解压到/opt/module目录中。 [hzhao@h2 ~]$ tar -zxvf /opt/soft/jdk-8u121-linux-x64.tar.gz /opt/module/ 2.hadoop安装 ...

（一）hadoop集群搭建——1.2集群文件传输1.scp命令介绍（全量同步）2.rsync命令介绍（增量同步）3.免输入密码配置 1.scp命令介绍（全量同步） scp命令为安全拷贝命令，使用方式为： scp -r 源文件用户名A@主机名1:path1 目标文件用户名B@主机名2:path2 要求：用户名A@主机名1对path1有读权限，用户名B@主机名2对path2有写权限 2.rsync命令介绍（增量同步） rsync对比文件的修改时间，增量同步，只能将本机文件同步，使用方式为： rsyn

@TOPIC(#)

（二十）离线数仓——2.1第一层采集通道启动脚本1.脚本编写 1.脚本编写 cd /usr/local/bin vim f1 脚本内容为 #!/bin/bash #使用start启动脚本，使用stop停止脚本 if(($#!=1)) then echo 请输入start或stop exit; fi if([$1 = start] then fi ...

kafka的