designpc的专栏

0 目标 在windows单机上，运行java编写的spark程序 模式:local 先编写java程序，maven打包生成jar包，上传到spark中，运行 1 前期 已经安装好了spark spark运行方式： Local[N] ：本地模式 使用N个线程 2 编写java工程代码 参考http://spark.apache.org/docs/latest/quick-star

0目标 单机windows上，运行spark 1  前期准备 jdk 1.7  2  下载spark 包 官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark，spark-1.6.2-bin-hadoop2.6，spark1.6.2,内嵌hadoop2.6，不要要without的 解压到D:\softwar

最近开始学习Hadoop和Hbase的相关内容，把自己在看的《Hadoop:The Definitive Guide》里的内容总结一下，有助于理解，也就是温故而知新了。首先是了解Hadoop中的MapReduce工作机制。MapReduce作业的运行过程如图6-1所示。包含4个独立的实体： （1）Client:提交MapReduce作业， （2）JobTracker：协调作业的运行。