做自己喜欢做的，并坚持做下去，就够了

网上下载mysql安装包文件，我下载的是：mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz，tar解压后mv到mysql文件夹，启动mysql服务service mysqld start登录mysqlmysql -u root -p输入密码后，登录成功创建数据库hive,用来保存hive元数据create database hive;操作数据库的权限grant ...

zookeeper安装比较顺利，hbase安装好后总是运行不了，HMaster起来马上又掉了，折腾了两天终于搞定，下面详细介绍下这两个组件的安装。1.zookeeper在apache官网下载zookeeper组件，我下载的版本是：zookeeper-3.4.10.tar.gzscp上传到elephant节点的opt目录下面。解压缩 tar -zxvf zookeeper-3.4.10.tar.gz...

先只是安装在elephant节点上.先下载scala与kafka并解压放到/opt目录下面,版本如下：kafka_2.10-0.8.2.1.tgzscala-2.11.8.tgz在/etc/profile设置scala的目录启动kafkabin/kafka-server-start.sh config/server.properties新建topicbin/kafka-topics.sh --cr...

下载并安装flume,安装目录为/opt/flumemv flume-conf.properties.template flume-conf.propertiesmv flume-env.sh.template flume-env.sh修改flume-env.sh 环境变量,添加如下：export JAVA_HOME=/opt/jdk1.8.0_121FLUME_CLASSPATH="/op...

接着前面的练习，flume已经安装完成并可以正常运行。运行/opt/flume/bin/flume-ng version可以查看安装的版本。1.把/opt/hbase/lib目录下的以下文件复制替换到/opt/flume/lib目录下面[root@elephant lib]# cp protobuf-java-2.5.0.jar /opt/flume/libcp: overwrite `/opt...

昨晚搞到晚上11.30，终于把hadoop组件安装好了，运行试了下，正常...这里记录下完全分布式hadoop集群的搭建步骤。1.VWMare平台安装之前已经安装好了，这里不详细说明。2.安装CentOS虚拟机1）下载好centos ISO安装文件，我安装的是centos6.5版本，安装mini desk模式2）安装好后，再安装VMTools，方便复制及操作centos系统。3）安装Java JD...

今天学习下hbase java API的知识，为后面hbase,flume,kafka,spark整合编程作准备。在网上查到一个博客，讲解的很详细，网址如下：http://www.cnblogs.com/tiantianbyconan/p/3557571.html在这里感谢原作者了，我主要根据他的资料整理总结下：1.获取配置      HBaseConfigurationHBaseConfigur...

1.在centos系统中创建好hadoop,hbase集群，并启动，验证运行正常。2.新建eclipse Maven工程，工程名为MyHbase.3.把hadoop和hbase的相应配置文件分别放置到src/main/resource/hadoop和src/main/resource/hbase目录3.把上一步的hadoop目录和hbase目录文件添加到Libraries（Add Class Fo...

下载spark,并利用scp命令传到elephant节点的/opt目录，安装目录为/opt/spark我下载的是spark-2.1.2版本，cp spark-env.sh.template spark-env.shvim spark-env.sh添加以下内容export JAVA_HOME=/opt/jdk1.8.0_121export SCALA_HOME=/opt/scalaexport ...