
hadoop技术篇
shunqs
这个作者很懒,什么都没留下…
展开
-
hadoop-hdfs整体结构剖析
这篇文章,大约在2011年在原来的博客中写的。今天突然看到再写到这篇文章中,就当日记啦。 一:Hadoop整体模块交互 分布式文件系统,思想是,把数据放到一个服务器集群上面,分为:主控服务器Master/NameNode),数据服务器(ChunkServer/DataNode),和客户服务器Client.HDFS和GFS都是按照这个架构模式搭建的。 最核心内...原创 2014-06-15 16:20:39 · 213 阅读 · 0 评论 -
hdfs-ha热备原理
下面的总结来自于:http://dongxicheng.org/hadoop-hdfs/hdfs-ha-federation-deploy/ Hadoop 2.0中的HDFS增加了两个重大特性,HA和Federaion。HA即为High Availability,用于解决NameNode单点故障问题,该特性通过热备的方式为主NameNode提供一个备用者,一旦主N...原创 2014-06-21 22:43:37 · 411 阅读 · 0 评论 -
hive 基本使用
hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件转化为一个数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。优点是学习成本较低,可以通过类Sql语句实现简单的MapReduce统计,不必开发专门的MapReduce应用程序,非常适合数据统计分析。 学习和总结如下:hive 基本语法创建表 hi...原创 2014-07-10 21:04:30 · 178 阅读 · 0 评论