ksh的博客

Hadoop 2简介

系统环境 硬件环境：window下VMware 11虚拟机 操作系统：红帽6.5服务器版本 Cloudera Manager：5.7 CDH：CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel 元数据库：Mysql 5.6 参考说明 http://www.cloudera.com/documentation/enterprise/latest/topics/i

HDFS ACLs

ref：http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_mysql.html#cmig_topic_5_5 For information about installing and configuring a MySQL database , see MySQL Database. I

MapReduce任务解析 在YARN上一个MapReduce任务叫做一个Job。一个Job的主程序在MapReduce框架上实现的应用名称叫MRAppMaster. MapReduce任务的Timeline 这是一个MapReduce作业执行时间： Map 阶段：根据数据块会执行多个Map TaskReduce 阶段：根据配置项会执行多个Reduce Task

Hive on spark

转载自：http://blog.youkuaiyun.com/faith_mo_blog/article/details/41245633 1、  连接hive library(RJDBC) drvHadoop/impala-jdbc-0.5.2”,pattern=”jar$”,full.names=TRUE,recursive=TRUE)) conn 2、  连接MySQL

参考地址：http://spark.apache.org/docs/1.5.2/job-scheduling.html#configuration-and-setup 1.配置hadoop/etc/yarn-site.xml   yarn.nodemanager.aux-services   mapreduce_shuffle,spark_shuffle   yar