ichsonx的专栏

Hadoop 2.2.0已经发布，网上有很多教程说明安装的过程，不过总有些问题存在……这里把我安装的过程分享一下。建议采用Ubuntu 12.04.3 LTS Server x64版本或者其他长期支持版本。另外，如果是虚拟机环境，使用32位版本的Ubuntu即可。建议在安装前，将系统升级到最新：[plain] view plaincopyprint?$sud

hadoop本地库与系统版本不一致引起的错误解决方法(suse11上部署hadoop2.6遇到的问题，网上搜的资料，待验证)集群中设置支持gzip lzo压缩后，在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库，本地库的默认位置在$HADOOP_HOME/lib/native/Linux-amd64-64   (64位操作

http://www.cnblogs.com/cenyuhai/p/3775687.html

1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？来源：about云本文链接：http://www.aboutyun.com/thread-12796-1-1.htmlhadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位，因为我们大部分都是64位，

问题导读1.spark-submit各个参数的含义是什么？2.集群启动都包含哪些脚本？3.如何实现连接一个应用程序到集群中？Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精通Spark-sql由入门到精通续sp

问题导读：1、Spark Application的运行架构有哪些组成？2、Spark on YARN 的运行过程是什么？前言Spark Application的运行架构由两部分组成：driver program（SparkContext）和executor。Spark Application一般都是在集群中运行，比如Spark Standalone、YARN、mesos

PS：此贴会随着笔者的使用推移，不断完善1.启动spark on yarn的情况下，提示assembly/target/scala-2.10/这个目录不存在的异常，无法启动master这是个奇葩的问题，笔者是使用scala2.11来进行构建spark的，在配置文件中的scala home也是2.11的。也没找到配置scala2.10的地方。于是笔者就在提示的目录下mkdir了一

1.Spark的核心思路是什么？2.Spark的适用场景是什么？首先，MapReduce-like是说架构上和多数分布式计算框架类似，Spark有分配任务的主节点（Driver）和执行计算的工作节点（Worker）其次，Low-latency基本上应该是源于Worker进程较长的生命周期，可以在一个Job过程中长驻内存执行Task，减少额

PS：首先本文某些步骤非详细说明，得读者们有一定的对hadoop的了解。另外继承前文《编译安装之旅》，可以优先阅读下。一、环境说明ubuntu14.04LTS  64位hadoop2.6.0protocbuf2.5.0二、环境变量配置2.1修改profile文件sudo vi /etc/profile添加如下内容#HADOOP V

PS：这种大型的都系，笔者总是感觉是劳民伤财的事情，特别折腾人。一、笔者环境说明1.ubuntu14.04LTS2.scala2.11.43.之前已经安装的hadoop2.6.04.protpbuf 2.5（因为安装hadoop2.6.0必须使用这个）5.其他安装hadoop2.6.0的前置包N个6.hadoop的安装请参考笔者的另一篇文章二

PS：这次的编译安装真心闹心，如果直接使用官网提供的32位包就没那么多事了。一、环境介绍系统：ubuntu14.04LTS（因为14.10的时候使用了独显，一直会随机卡死，换了14.04后就用集显了，懒得还回来）JDK：1.7.72maven：3.2.5hadoop：2.6二、编译安装途中遇到的问题2.1 JDK            笔者一开始

(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准