
Hadoop
faith默默
这个作者很懒,什么都没留下…
展开
-
查看hadoop中空间占用命令
原创 2014-09-22 15:06:20 · 5925 阅读 · 0 评论 -
python版的mapreduce程序运行在hadoop上
通过标准输入(stdin)和标准输出(stdout)来传递Map和Reduce过程之间的数据。原创 2015-08-20 18:17:52 · 951 阅读 · 0 评论 -
C++版的mapreduce程序运行在hadoop上(1)
因部门内一部分写c++而不会java的人想要将他们的程序改写成mapreduce程序运行在hadoop上,故作了几个简单的例子作说明。本篇是hadoop streaming运行c++。原创 2015-08-20 14:59:02 · 1795 阅读 · 1 评论 -
win7下eclipse运行mapreduce程序
根据上篇《win7下eclipse连接hadoop》已配置好环境,现创建一个mapreduce程序,通过eclipse远程执行mapreduce工程。1、为了后面方便,在这里修改hosts文件: 2、新建mapreduce工程 2.1 配置hadoop的安装路径: 将hadoop的压缩包解压到windows环境中,将该目录配置进eclipse 2.2 新建项目 File–New–Other–原创 2015-07-23 17:43:48 · 1087 阅读 · 1 评论 -
win7下eclipse连接hadoop
1、将hadoop-eclipse-plugin-2.6.0.jar放入eclipse的plugins目录下,重启eclipse2、然后通过Open Perspective菜单打开Map Reduce视图: 3、然后选中大象图标: 4、填写正确的Map/Reduce和HDFS信息。(具体根据您的配置而定): (1)map/reduce master这个框里 host和port:就是jobt原创 2015-07-23 17:14:08 · 935 阅读 · 0 评论 -
7个你不可不知的大数据定义
转载地址:http://www.ppvke.com/Blog/archives/14307在大多数人根本不知道大数据(Big Data)到底是什么的时候,不可否认的是,大数据已经在 21 世纪掀起一场惊涛骇浪。根据研究机构 IDC(国际数据资讯公司)的分析,这个世界上的资料正在以每两年就翻倍的惊人速度增加中。了解大数据、如何利用巨量资料,成了人人关心的重点议题。尽管大数据的定义各家歧异,但转载 2015-02-27 10:29:06 · 1270 阅读 · 0 评论 -
企业大数据如何起步:先做好小数据分析
目前国内外关于大数据的谈论很多,大多是谈运营级别的,或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说,大数据跟他们有什么关系,或者说作为企业方怎样去参与,这是企业方现在面临的最大问题。这个问题的答案重点在于大数据应该从小数据开始。因为现在很多企业面临的最大问题不是怎么用大数据,而是内部的一些小数据整合出现问题,或者小数据都没用好的情况下怎么用大数据转载 2015-02-27 10:58:21 · 864 阅读 · 0 评论 -
IBM BigInsights安装中遇到的问题
BigInsights版本为3.0.0.2原创 2015-03-03 11:24:06 · 772 阅读 · 0 评论 -
淘宝在数据处理领域的项目及开源产品介绍
淘宝在数据存储和处理领域在国内互联网公司中一直保持比较靠前的位置,而且由于电子商务领域独特的应用场景,淘宝在数据实时性和大规模计算及挖掘方面一直在国内保持着领先,因此积累了很多的实践的经验和产品。TimeTunnel基于Hbase打造的消息中间件,具有高可靠、消息顺序、事务等传统特性,还能按时间维度反复订阅最近历史的任意数据高性能的broker,单节点达2万TPS,实际支持上千长链转载 2014-12-05 15:02:28 · 1536 阅读 · 0 评论