hadoop
关注
分享
扫一扫
文章平均质量分 67
whsq1987
一位普通的大学生
展开
-
Reduce作业运行时错误：Too many fetch-failures
root@ubuntu:/usr/local/hadoop# bin/hadoop jar hadoop-*-examples.jar wordcount /test1 /test2 11/11/22 20:42:33 INFO input.FileInputFormat: Total input paths to process : 14 11/11/22 20:42:33 INFO mapr...原创 2013-04-24 21:19:11 · 173 阅读 · 0 评论 -
hadoop hbase svn site
hadoop hbase svn site博客分类： hadoophadoop:http://hadoop.apache.org/common/version_control.html http://svn.apache.org/repos/asf/hadoop/common/trunk/OverviewThe Hadoop ...原创 2012-12-13 10:49:24 · 344 阅读 · 0 评论 -
Hadoop -【IO专题-序列化机制】
引自http://blog.sina.com.cn/s/blog_48a45b950100sz4x.html 1. 基本概念 序列化可被定义为将对象的状态存储到存储媒介中的过程。在此过程中，对象的公共字段和私有字段以及类的名称（包括包含该类的程序集）都被转换为字节流，然后写入数据流。在以后反序列化该对象时，创建原始对象的精确复本。 当在面向对象的环境...原创 2012-12-17 10:32:54 · 106 阅读 · 0 评论 -
HDFS之SequenceFile和MapFile
引自http://blog.youkuaiyun.com/javaman_chen/article/details/7241087HDFS之SequenceFile和MapFile Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。解决办法通常...原创 2012-12-17 11:37:51 · 69 阅读 · 0 评论 -
Hadoop HDFS 编程
引自http://blog.youkuaiyun.com/lmc_wy/article/details/6060746Hadoop HDFS 编程2010-12-07 15:11 2102人阅读 评论(0) 收藏 举报 HDFS是一个分布式文件系统，然而对于程序员来说，HDFS就是一个普通文件系统，Hadoop进行的底层封装，程序员按照相应的API来对HDFS上的文件操...原创 2012-12-18 17:38:14 · 102 阅读 · 0 评论 -
HADOOP中DATANODE无法启动
摘要：该文档解决了多次格式化文件系统后，datanode无法启动的问题一、问题描述 当我多次格式化文件系统时，如 root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format 会出现datanode无法启动，查看日志，发现错误为： 201...原创 2012-12-22 20:43:52 · 83 阅读 · 0 评论 -
hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法
引自 http://blog.youkuaiyun.com/irelandken/article/details/8122474第一步 ,环境准备. 服务器3台,可以用3个虚拟机代替.操作系统.CentOS 6.3 64hadoop版本hadoop 1.1.0 rpm开始安装以下所有的操作,都是用 root 身份执行以下安装,需要在每台机器上面安装. 下载好 jdk-7u9-linux-x...原创 2012-12-22 20:45:06 · 102 阅读 · 0 评论 -
Hadoop运行报错： java.lang.ClassNotFoundException解决方法
在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误：11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILEDjava.lang.RuntimeException: java.lang.ClassNotFoundExcepti...原创 2012-12-27 16:44:42 · 1593 阅读 · 0 评论 -
hadoop各种输入方法(InputFormat)汇总
引自http://www.blogjava.net/shenh062326/archive/2012/07/03/hadoop.htmlmapreduce中,一个job的map个数, 每个map处理的数据量是如何决定的呢? 另外每个map又是如何读取输入文件的内容呢? 用户是否可以自己决定输入方式, 决定map...原创 2013-01-04 17:02:37 · 707 阅读 · 0 评论 -
MultipleOutputFormat和MultipleOutputs
引自http://www.cnblogs.com/liangzh/archive/2012/05/22/2512264.html一，介绍1，旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputsMultipl...原创 2013-01-04 17:26:19 · 96 阅读 · 0 评论 -
hadoop问题Type mismatch in value from map解决方法
hadoop问题Type mismatch in value from map解决方法分类： hadoop2012-08-27 18:27 113人阅读 评论(0) 收藏 举报 12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your p...原创 2012-12-13 10:49:07 · 151 阅读 · 0 评论 -
hadoop项目svn地址
http://svn.apache.org/repos/asf/hadoop/common/trunk/原创 2012-12-11 18:11:04 · 178 阅读 · 0 评论 -
Hadoop错误一的解决猜测
如果出现：java.lang.NullPointerExceptionat org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.jav...原创 2013-04-26 10:29:44 · 95 阅读 · 0 评论 -
hadoop 比较好的博客
http://dongxicheng.org好的书http://dongxicheng.org/mapreduce/hadoop-books/原创 2013-04-27 17:35:28 · 112 阅读 · 0 评论 -
hadoop动态增加删除节点
在master的conf/hdfs-site.xml中加入<property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>在$HADOOP_HOME下创建exclueds文件文件内容增加你想删除的节点，一行一个/bin/...原创 2013-04-28 09:54:26 · 129 阅读 · 0 评论 -
Apache Pig的一些基础概念及用法总结（1
引自http://www.codelast.com/?p=3621 本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及...原创 2013-05-08 16:01:02 · 187 阅读 · 0 评论 -
hadoop视频
http://pan.baidu.com/share/link?shareid=412520&uk=4061509355#dir 百度网盘：链接:http://pan.baidu.com/share/link?shareid=467813&uk=772112791 提取密码: 9k6g http://dl.vmall.com/c0ba3va3te...原创 2013-05-10 09:35:10 · 1159 阅读 · 0 评论 -
Apache Pig中文教程（进阶）
引自http://www.codelast.com/?p=4249原创 2013-05-13 17:18:57 · 92 阅读 · 0 评论 -
Hadoop在CentOS下的单机配置
引自 http://www.linuxidc.com/Linux/2011-07/37992.htm前言的前言如果你做某件从未接触过的事的时候很纠结很曲折，那么为你自己高兴吧，你能学到很多东西！以下的东西都是贴图，所以你们只有手敲了。我也不清楚这个东西是不是应该花很多时间去做，有得有失，某些付出不知道到底值多少。据**说一下午都能配出来，谁叫我傻呢，谁叫我蠢呢，不过该走的路咱还是踏实点...原创 2012-12-11 15:41:28 · 79 阅读 · 0 评论 -
Hadoop实例WordCount程序一步一步运行
虽说现在用Eclipse下开发Hadoop程序很方便了，但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记，记录下来以备查。 1. 经典的WordCound程序（WordCount.java），可参见 hadoop0.18文档import java.io.IOException;import java.util.ArrayList;import java.uti...原创 2012-12-11 16:32:12 · 88 阅读 · 0 评论 -
在Eclipse中导入hadoop
0. 准备(1) 需要有gcc、autoconf、automake来编译安装google的protocol bufferhttp://code.google.com/p/protobuf/downloads/list(2) http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz./configure --...原创 2012-12-11 18:03:08 · 123 阅读 · 0 评论 -
大数据方面的文章
http://bbs.e-works.net.cn/forum.php?mod=viewthread&tid=181701&fromuid=635043原创 2013-07-29 17:01:49 · 495 阅读 · 0 评论