
大数据
文章平均质量分 73
keep_walk
努力总会有收获!
展开
-
HBase常用shell命令
HBase Shell的所有命令可分为6大组常规命令DDL命令DML命令工具命令(Tools)复制(Replication)安全(Security) HBase Shell 命令 – 常规命令集群状态命令status2 servers, 0 dead, 2.5000 average load该集群共有两台RegionServer,平均每台上有2.5个re...原创 2018-10-25 20:14:09 · 506 阅读 · 0 评论 -
Azkaban的简介
Azkaban是数据流引擎,解决作业之间的依赖关系,挺不错的有三大组件①Relational Database(Mysql) 用于存储项目、日志或者执行计划之类的信息②AzkabanWebServer 使用Jetty对外提供web服务,使用户可以通过web页面方便管理③AzkabanExecutorServer 负责具体的工作流...原创 2018-10-25 20:23:18 · 245 阅读 · 0 评论 -
大数据中hive的安装
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以...原创 2018-10-29 19:48:15 · 523 阅读 · 0 评论 -
Azkaban的安装部署
Azkaban的安装部署1. 准备工作1) Azkaban Web 服务器 azkaban-web-2.5.0.zip2) Azkaban 执行服务器 azkaban-executor-2.5.0.zip3) MySQL 脚本 azkaban-sql-script-2.5.0.tar.gz2.安装MySQL1) 安装 mysql这个可以在我的博客中hive的安装那儿找到...原创 2018-10-29 20:05:30 · 216 阅读 · 0 评论 -
Azkaban之hive的job
1、前提是安装好azkaban2、从官网上下载azkaban-jobtype-2.5.0.tar.gz这个压缩包 下载地址为:https://s3.amazonaws.com/azkaban2/azkaban-plugins/2.5.0/azkaban-jobtype-2.5.0.tar.gz3、把下载好的压缩包 移动到你的executor服务的安装目录下的 plugins下例如:azka...原创 2018-10-29 20:32:57 · 2392 阅读 · 0 评论 -
大数据中HBase的安装
先决条件hadoop集群正常启动zookeeper集群正常启动,作为hbase集群的协调器1.解压并安装tar -zxvf HBase hbase-0.98.9-hadoop2-bin.tar.gz2.配置Hbase2.1修改环境变量 hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_71 2.2修改配置文件hbas...原创 2018-10-24 22:31:38 · 199 阅读 · 0 评论 -
大数据中Storm的安装
我的集群有三个节点,主节点master,从节点 slave和slave11.安装的条件Hadoop集群正常启动ZooKeeper集群正常启动2.解压安装unzip apache-storm-0.9.6.zip3.配置1)环境变量配置vim ~/.bash_profile在.bash_profile配置文件中添加如下配置export STORM_HOME=/h...原创 2018-10-24 22:12:10 · 349 阅读 · 0 评论 -
大数据中Zookeeper的安装
在本集群中有master,slave,slave1三个节点其中master为主服务器,slave和slave1为从服务器要求各服务器之间系统时间要保持一致1.先决条件hadoop集群运行环境配置好,比如jdk,时间同步,免密登陆等hadoop集群正常启动安装ZookeeperZookeeper是Hbase集群的“协调器”,负责解决Hmaster的单点问题,确保事先安装好...原创 2018-10-24 22:21:46 · 294 阅读 · 0 评论