bingzige的博客

修改配置文件/etc/hadoop 第一个：hadoop-env.sh vim hadoop-env.sh –$JAVA_HOME=$JDK_HOME yarn-env.sh vim yarn-env.sh –$JAVA_HOME 第二个：core-site.xml vim core-site.xml fs.defaultFS hdfs://主机名（或IP）

1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系  4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等 192.168.249.145 master01 192.168.249.176 master02 192.168.249.154 slave01 192.168.249.152 slave02 192.168.249.153 sl

1.在root账户下修改主机名 /etc/sysconfig/network HOSTNAME=localhost（自己取名） /etc/hosts 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1         localhost localhost.localdoma

Google文件系统  GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。  1、设计概览  （1）设计想定  GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件系统明显不同的设想。这就

Google'sBigTable 原理（翻译）     题记：google 的成功除了一个个出色的创意外，还因为有 Jeff Dean 这样的软件架构天才。                                                欢迎订阅作者微博  ------ 编者 官方的 Google Readerblog 中有对BigTable 的解释。这是Google

摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作. 以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数据,在机

下载flume的src包和bin包,解压 tar -zxvf flume-1.6.0-bin.tar.gz tar -zxvf flume-1.6.0-src.tar.gz 将src的所有文件移动到bin下进行覆盖,重命名文件夹 cp -R apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/ mv apache-flume-1.6.0

以下操作全部在root账户下 下载nginx1.4.4版本 wget http://nginx.org/download/nginx-1.4.4.tar.gz 解压 tar -zxvf  nginx.tar.gz 创建文件夹，移动文件夹 mkdir /usr/local/nginx mv  nginx-1.4.4  /usr/local/nginx/ 安装依赖 yum

转载请注明出处： http://blog.fens.me/hadoop-family-roadmap/ 使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。 　　有必要对自己的知识做一个整理了，把产品和