
Hadoop
文章平均质量分 76
大兔齐齐
现担任苏宁易购数据总监;曾就职于阿里巴巴;对内容生成,算法变现,推荐营销等很感兴趣
展开
-
hadoop初级班(四)
这一节来介绍hadoop中的数据库hbase他是一个列式数据库,根据行健来进行查询,有时间戳,所以根据时间查很方便。比如删除或更新这种操作,是加入一个删除的记号,某个行键某个时刻被删除了,这主要是因为他是基于HDFS的,HDFS对于修改来说是很麻烦的,所以hbase采用了新建一个文件这种奇怪的方式。hbase的安装:采用伪分布模式:1.下载及解压hbase的安装包(tar包,安原创 2015-05-27 15:42:56 · 872 阅读 · 0 评论 -
hadoop初级班(一)
hadoop的部署1.Linux安装(1)如果你的电脑操作系统是Windows7或Windows8的话,请先安装一个Ubuntu系统。安装办法:下载自己可以快速下载的Ubuntu的镜像,我的用的是Ubuntu12.04,来源于中科大自己的http://mirrors.ustc.edu.cn/,下载下来后建个文件夹,将下载的ISO文件拖入,然后解压,解压完成后如图所示双击wubi.exe原创 2015-05-22 08:39:21 · 1492 阅读 · 0 评论 -
hadoop初级班(二)
详细解读wordcount程序本次内容将详细介绍wordcount程序:word count 源代码:package ustc.hilab.wordcount;import java.io.exception;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import原创 2015-05-22 16:04:36 · 1028 阅读 · 1 评论 -
hadoop初级班(五)
参考炼数成金课程及hadoop权威指南本次课程主要讲述pigpig可以看做是hadoop的客户端软件,可以连接到hadoop集群进行数据分析工作。pig方便不熟悉java的用户,使用一种较为简便的类似于SQL的面向数据流的语言pig Latin进行数据处理,是一种轻量级的脚本语言。pig可以看成是个映射器,pig latin是被映射成mapreduce来执行的。下载:在官网上下原创 2015-06-07 09:00:53 · 1434 阅读 · 0 评论 -
hadoop初级班(三)
本教程主要参考hadoop实战在一个全配置的集群上,运行hadoop意味着在网络分布的不同服务器上运行一组守护进程。这些守护进程有特殊的角色,一些仅存在与单个服务器上,一些则运行在多个服务器上,他们包括:NameNode(名字节点)、DataNode(数据节点)、Secondary NameNode(次名字节点)、JobTracker(作业跟踪节点)、TaskTracker(任务跟踪节点)原创 2015-05-22 15:24:22 · 920 阅读 · 0 评论