
hadoop
Stray_Cat_Founder
这个作者很懒,什么都没留下…
展开
-
hadoop中的RPC应用示例
hadoop中的RPC意义 前面有讲到RPC的基础内容,还给出了一个小的示例来说明,这篇文章讲讲hadoop中的RPC是怎样使用的。 RPC在Hadoop中是基础组件,提供分布式环境下的对象调用功能。可以把它理解成胶水,由于它的存在,分布式系...原创 2018-04-18 13:28:04 · 429 阅读 · 0 评论 -
what is RPC?
为什么要了解RPC 在机器价格越来越便宜的时候,分布式环境的搭建显得异常容易。而随着互联网热度的暴涨,许多热门的服务无法在单机情况下完成任务,分布式的服务便是首选了。简单点来说,我们可以使用10台机器,然后上层搭建一个nginx负载均衡 or lvs负载均衡,这样就可以做到分流了。 &...原创 2018-04-04 19:48:58 · 275 阅读 · 0 评论 -
centos7下编译hadoop
1.首先源码下载咯,请移步https://github.com/apache/hadoop 可以看到hadoop是java代码,是一个maven项目;然后hadoop有很多模块,目前还没看代码,不清楚具体细节。2.其次依赖包安装 protobuf (这个要下载安装包,自行百度下载咯) yum install gcc gcc-c++ yum install make, cmak原创 2017-12-31 16:07:58 · 1418 阅读 · 0 评论 -
通过hadoop二次排序分析hadoop工作过程
什么是hadoop,可以做什么 hadoop是Apache基金会开发的分布式系统基础架构,可以开发和运行大规模数据的软件平台。Hadoop有两个重要模块,HDFS与MapReduce。 HDFS是Hadoop的分布式存储平台,对于hadoop集群,拥有namenode和datanode节点。namenode节点职责是对存储系统进行控制,想一想namenode可以控制整原创 2017-07-22 15:57:04 · 551 阅读 · 0 评论