lhfredfly的专栏

Hadoop集群配置【五、Loz和Hadoop-gpl-compression安装】 从Hadoop 0.20.X开始，由于lzo压缩格式GPL形式授权的影响，lzo压缩从hadoop发布包中取消，转而成为Google Code中的一个项目hadoop-gpl-compression 。 1.lzo安装 ./configure -enable-shared --prefix=$H

HBase体系结构 HBase的服务器体系结构遵从简单的主从服务器架构，它由HRegion Server群和HBase Master服务器构成。HBase Master负责管理所有的HRegion Server，而HBase中的所有RegionServer都是通过ZooKeeper来协调，并处理HBase服务器运行期间可能遇到的错误。HBase Master Server本身并不存储HBase中

分布式助手Zookeeper（一） Zookeeper最早是Hadoop的一个子项目，主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务，在2010年10月升级成Apache Software  Foundation(ASF)顶级项目，它主要提供以下的四个功能：  功能名 组管理服务 分布式配置服务 分布式同步服务 分

一、hadoop2.2.0、zookeeper3.4.5、hbase0.96.2、hive0.13.1都是什么？ 　　hadoop2.2.0的介绍以及特性，参考这里：http://blog.yidooo.net/archives/hadoop-2-2-0-new-features.html 　　zookeeper的介绍，参考这里：http://baike.baidu.com/view/3061

Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程 1、 解压文件  由于hadoop集群中每个机器上面的配置基本相同，所以我们先在namenode上面进行配置部署，然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。但需要注意的是集群中64位系统和32位系统的问题。 将第一部分中下载的hadoop-2.2.tar.gz解压到/h

Hadoop2.2.0稳定版整合ZooKeeper与HBase0.96详细教程 自己在搭建过程中遇到了一些问题,本文就详细讲解一下最新版的三者怎么整合,方便朋友们参考. 环境:RED HAT + JDK1.7+Hadoop2.2+ZooKeeper3.4.5+HBase0.96 准备工作:防火墙关闭+SSH免密码通信+Hadoop2.2.0分布式环境正常运行

一、安装需求 安装java 1.6及hadoop 0.20.x 二、安装zookeeper 1、下载zookeeper wget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz（本次安装3.4.3版本） 其他版本下载地址（最好使用stable

Hadoop2.2.0+HA+zookeeper3.4.5+体系结构+错误处理         心血之作，在熟悉hadoop2架构的过程耽误了太长时间，在搭建环境过程遇到一些问题，这些问题一直卡在那儿，不得以解决，耽误了时间。最后，千寻万寻，把问题解决，多谢在过程提供帮助的大侠。这篇文章中，我也会把自己遇到的问题给列出来，帮助后来者进一步的学习。        这篇文章结合自己实际测试

前言       hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。     hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配

solr4.4支持索引存储到hdfs中下载 hadoop2.1.0-beta下载 解压solr4.4，hadoop2.1.0-beta 我的solr是运行在tomcat web容器中 solr4.4用的是hadoop2.0.5alpha版本，如果不改成hadoop2.1.0-beta会报很多奇怪的错误。 删除solr webapp/WEB-INF/lib中的jar包，用我已

1. 大数据 大数据 是指变得过大而无法通过传统方法操纵的数据集。这些方法包括在可承受的时间内对数据进行捕获、存储和处理。虽然术语大数据 曾被用作数据仓库概念，但它现在只专注于处理的容量、吞吐量和通用性的大规模处理架构。 阅读: Forrester：大数据 – 从小规模开始，但迅速扩大 阅读: 驾驭大数据 阅读: 利用大数据获得新的业务洞

a)   单节点集群的安装 参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ 配置ssh（无密码连接到localhost） $ chmod g-w ~/.ssh/authorized_keys【这里尤其注意，你的机器上若没有.ssh目录，那么m

目录 系统环境 ls操作 rmr操作 mkdir操作 copyFromLocal操作 cat操作 copyToLocal操作 创建一个新文件，并写入内容 1. 系统环境 Hadoop集群环境 Linux Ubuntu 64bit Server 12.04.2 LTS Java 1.6.0_29 Hadoop 1.1.2 如何搭建Hadoop集群环

目录 Hadoop家族产品 Hadoop家族学习路线图 1. Hadoop家族产品 截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！ http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/ 接下来，我把这20个产品，分成

多点部署： 参考http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/ a)   安装准备 所有机器的用户名和$HOME目录配置一致；（用户名、密码、目录结构） 所有机器JDK的安装目录为/usr/lib/jvm/java-6-openjdk； 每

Hadoop集群配置【六、thrift安装】 数据环境搞好了，必须考虑如何存取、传输。我们用thrift。Facebook 开发的远程服务调用框架 Apache Thrift，支持 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk 。其传输数据采用二进制格式，相对 XML 和 JSON

暂且隐去具体什么项目，需要处理存储海量数据，一次存储多次读取，数据用作建模分析以及检索。 本人比较倒霉，部署时基本能遇到的问题都遇到了。。好吧，Hadoop配置的教程基本网上写烂了都，我就当时小记一下，留个纪念。 今天头给我五个服务器，让我挑选一台作为master，其他作为slave。原则是：配置好的优先，如果配置相差不大，那么地址最高或者最低的当作master。 好，我接到的五

（一）启动hadoop集群时易出现的错误： 1.   错误现象：java.net.NoRouteToHostException: No route to host.    原因：master服务器上的防火墙没有关闭。    解决方法: 在master上关闭防火墙: chkconfig iptables off. 2.    错误现象：org.

RDD：基于内存的集群计算容错抽象 该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻译得很不错。在此基础上，我增加了来自英文原文的图和表格数据