My Sunshine

安装前准备 4台电脑组成的cluster。目标： 在这4台电脑上配置fully distributed Hadoop-2.6.5, 因为之后要用这个Cluster来搭oozie，所以就不装最新的版本。这个博客写的时候是搭在amazon aws上的，但是我最近发现，如果把Hadoop搭在云上，Hadoop一段时间不执行job，云会把一些Hadoop必须用到的端口关掉...

安装前准备 安装hadoop，可参考文章：https://blog.youkuaiyun.com/lucylove3943/article/details/80589422 不需要pig, hive, spark等等。就follow这两篇blog，一切搞定。 一些必要的安装工作 Maven安装 进入maven 下载页面：https://m...

想再自己的电脑上装一个oozie，方便自己调试啥的。按照前面写的oozie安装配置教程，吭哧吭哧的安装单机版的oozie……但是当我尝试链接oozie和mysql的时候，也就是执行到这一句的时候：bin/ooziedb.sh create -sqlfile oozie.sql -run收到一个报错信息：java.lang.Exception: Could not connect to the da...

写在前面这篇blog是用Oozie调用MapReduce来对航班信息进行分析。航班信息数据来源于网站：http://stat-computing.org/dataexpo/2009/the-data.html数据里每一列代表的意思在该网站也有详细说明。因为每一年的数据量都挺大，每一年大概有几百MB，而这篇博客主要是想记录oozie的使用，所以我并没有直接用下载下来的数据。而是截取了...

准备工作Unix 系统， Mac和Linux都可以 Jdk 1.6及其以上 Maven （Maven的Mac安装教程在oozie安装里有介绍：https://blog.youkuaiyun.com/lucylove3943/article/details/80673962） Protocol Buffer （Protobuf，安装教程在导Hadoop源码里面有介绍：https://blog.csdn...

安装前的准备安装好Fully-distributedHadoop的集群，安装Hadoop教程参考：https://blog.youkuaiyun.com/lucylove3943/article/details/80589422我目前在6台机子上搭了Hadoop-2.9.2，这是当前的配置：Master Node: falcon-1Slave Nodes: falcon-2, falco...

一直都说Hadoop的HDFS默认会把所有文件复制三份：第一份随机选一个datanode 第二份在另一个机架（rack）上随机选一个datanode 第三份在第二份的机架上再选一个datanode但是如果不特别配置的话，hadoop是不知道机架信息的，会默认所有的datanode都在同一个机架上。如何让Hadoop知道机架信息呢？就需要靠自己配置啦～～～Hadoop说明...

~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export HADOOP_HOME=/home/qianwen/hadoop-3.2.0export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_MAPRED...