Hadoop
关注
分享
扫一扫
Hadoop
zzhongcy
因为站在了巨人的肩上，所以我看得更远。
当你发现自己的才华撑不起野心时，就请安静下来学习吧
展开
-
hadoop配置之SSH无密码登陆的配置
最近学习Hadoop。它要求各节点之间通过SSH无密码登录，配置SSH的时候费了一番功夫，记录下来，以备忘。配置SSH无密码登录需要3步： 1.生成公钥和私钥 2.导入公钥到认证文件,更改权限 3.测试1.生成公钥和私钥ssh-keygen -t rsa默认在 ~/.ssh目录生成两个文件： id_rsa ：私钥 id原创 2014-02-25 14:26:34 · 1195 阅读 · 0 评论 -
Hadoop配置: core-site.xml hdfs-site.xml mapred-site.xml
Hadoop配置 core-site.xml hdfs-site.xml mapred-site.xml记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分,以hadoop 1.x配置为例core-site.xml namevalue Description fs.default.name转载 2014-02-25 14:28:44 · 7296 阅读 · 0 评论 -
Hadoop默认端口说明
Hadoop默认端口说明Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。组件D转载 2014-02-25 14:30:00 · 16054 阅读 · 0 评论 -
Apache Hadoop 2.2.0集群安装
Apache Hadoop 2.2.0集群安装(1)[翻译]用途此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。初次接触hadoop建议先从单节点集群开始。 前提从Apache 上下载了稳定的版本。 安装安装hadoop集群通常需要在所有的节点上解压软件或者prm安装。通常集群中的某一转载 2014-02-25 14:31:39 · 1495 阅读 · 0 评论 -
Hadoop MapReduceV2(Yarn) 框架简介
对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：转载 2014-02-25 15:31:46 · 1770 阅读 · 0 评论 -
深入理解Hadoop集群和网络
深入理解Hadoop集群和网络本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。Hadoop集群部署时有三个角色：Client machines、 Maste转载 2014-02-25 15:48:41 · 1527 阅读 · 0 评论