
Hadoop数据处理
文章平均质量分 93
yew1eb
https://github.com/yew1eb
展开
-
apache hadoop-2.6.0-CDH5.4.1 安装笔记
CDH基于稳定版Apache Hadoop,并应用了最新Bug修复或者Feature的Patch。Cloudera常年坚持季度发行Update版本,年度发行Release版本,更新速度比Apache官方快,而且在实际使用过程中CDH表现无比稳定,并没有引入新的问题。 Ø Cloudera官方网站上安装、升级文档详细,省去Google时间。 Ø CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Mana原创 2015-05-17 17:26:00 · 10097 阅读 · 0 评论 -
在Windows上使用Eclipse配置Hadoop MapReduce开发环境
在Windows上使用Eclipse配置Hadoop MapReduce开发环境1. 系统环境及所需文件windows 8.1 64bitEclipse (Version: Luna Release 4.4.0)hadoop-eclipse-plugin-2.7.0.jarhadoop.dll & winutils.exe 2. 修改Master节点的hdfs-site.xml添加如下内容<原创 2015-05-19 15:27:19 · 9209 阅读 · 4 评论 -
RPC原理
Remote Procedure CallRPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提原创 2015-06-27 14:30:12 · 2516 阅读 · 0 评论 -
HDFS学习笔记(2)hdfs_shell & JavaAPI
FileSystem shell指令官方文档: HDFS Commands ReferenceappendToFilecatchecksumchgrpchmodchowncopyFromLocalcopyToLocalcountcpcreateSnapshotdeleteSnapshotdfdudusexpungefindgetgetfaclgetfattr原创 2015-06-27 16:15:19 · 2530 阅读 · 0 评论 -
HDFS学习笔记(1)初探HDFS
Hadoop分布式文件系统(Hadoop Distributed File System, HDFS)分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。 hdfs只是其中一种。适用于一次写入、多次查询的情况,不支持并发写情况,小文件不合适。2.HDFS架构HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数原创 2015-06-27 14:23:25 · 2165 阅读 · 0 评论