- 博客(9)
- 资源 (12)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 zookeeper安装及sqoop脚本执行生成数据到mysql
============ zookeeper ====================== 在opt目录下tar -zxvf zookeeper-3.4.6.tar.gz -C 配置 在zookeeper目录下创建data 文件夹, 进入conf目录, 把 zoo_sample.cfg 改名为 zoo.cfg 进入zoo.cfg文件,修改dataDir=/opt/zookeeper/data 启动 进入bin目录,使用./zkServer start 命令启动,提示如下则启动成功 JMX enabled
2020-08-06 23:06:45
312
1
原创 安装sqoop及使用
SQOOP —数据搬用工 可以将外部数据迁移到hdfs目录或者hive表或者hbase表 约定：安装目录为/opt/ 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/ 下载之后进行解压： tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/ 重命名： mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop 配置SQOOP_HOM
2020-08-06 23:03:01
233
1
原创 安装kafka及使用
======= kafka =================== 安装配置： 解压： opt]# tar -zxvf soft/kafka_2.10-0.10.0.1.tgz 重命名：opt]# mv kafka_2.10-0.10.0.1/ kafka 添加KAFKA_HOME至环境变量：/etc/profile 配置相关参数：$KAFKA_HOME/config/server.properties 主要参数：broker.id、log.dirs、zookeeper.connect broker.i
2020-08-06 22:54:51
203
1
原创 hive关联hbase及使用
======= 使用Hive来访问HBase 启动hive，进入hive的终端 /opt/hive/lib/hive-hbase-handler-2.1.0.jar,/opt/hive/lib/zookeeper-3.4.6.jar --hiveconf hbase.master=master:16010 --hiveconf hbase.zookeeper.quorum=master 在Hive里面操作HBase 创建一张表： 如果hbase中不存在该表 我们只能在hive中使用创建内部表的方式，来创建
2020-08-06 22:50:27
413
1
原创 安装hbase及使用
============== hbase ================ 单机版本： 解压 opt]# tar -zxf soft/hbase-1.1.5-bin.tar.gz 重命名 opt]# mv hbase-1.1.5-bin hbase 添加至环境变量 export HBASE_HOME=/opt/hbase 配置 $HBASE_HOME/conf/hbase-env.sh、hbase-site.xml $HBASE_HOME/conf/hbase-env.sh export JAV
2020-08-06 22:47:45
290
1
原创 在安装Hive程序HWI的时候的异常（2.1.0）
==== 在安装Hive程序HWI的时候的异常（2.1.0） ==== 在启动hwi的过程中，出现的问题： ar:file:/opt/hive/lib/ant-1.9.1.jar!/org/apache/tools/ant/antlib.xml:37: Could not create task or type of type: componentdef. 原因是引用hive新版本2.1.0依赖的ant jar包没有相关的资源，需要使用最新的ant jar包 解决方式： 下载ant资源：ant-1.10.1
2020-08-06 22:42:35
277
1
原创 安装hive和mysql
====== 安装hive和myql ===== 安装myslq CentOS7自带有MariaDB而不是MySQL，MariaDB和MySQL一样也是开元的数据库 解决方案：如果必须要安装MySQL，首先必须添加mysql社区repo通过输入命令 #rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 获取mysql #yum install -y mysql-server 启动mysql server服务
2020-08-06 22:38:54
204
1
原创 安装Hadoop2.6.4和jdk8
============== Hadoop的安装 ================== 配置Hadoop环境变量 hadoop的版本：hadoop-2.6.4.tar.gz，rz命令上传Hadoop和jdk8到/opt/目录下 #vim /etc/profile.d/hadoop-eco.sh JAVA_HOME=/opt/jdk8 PATH=$JAVA_HOME/bin:$PATH HADOOP_HOME=/opt/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HO
2020-08-06 22:08:03
412
1
原创 半天搭建大数据伪分布式环境
============= 模拟处理大数据 ============ 1.数据写入kafka 2.程序消费kafka消息存入hbase 3.hive关联hbase处理数据转存成表 4.sqoop脚本导出数据到mysql linux:centos7 root/root 一台服务器就够了，3G+20G 配置静态IP地址 #vi /etc/sysconfig/network-scripts/ifcfg-ens32(最后一个为网卡名称) （1）bootproto=static #dhcp动态 （2）onboot=
2020-08-06 21:52:50
151
1
TA创建的收藏夹 TA关注的收藏夹
TA关注的人