hadoop
关注
分享
扫一扫
文章平均质量分 51
iteye_19462
这个作者很懒，什么都没留下…
展开
-
Hadoop TestDFSIO
@VM [bigdata@bigdata hadoop]$ hadoop jar hadoop-test-1.0.4.jar TestDFSIO -write -nrFiles 10 -fileSize 20Warning: $HADOOP_HOME is deprecated. TestDFSIO.0.0.413/04/21 12:54:47 INFO fs.TestD...原创 2013-04-21 21:02:06 · 451 阅读 · 0 评论 -
Hadoop NNBENCH
@VM[bigdata@bigdata hadoop]$ cat /proc/cpuinfoprocessor : 0vendor_id : GenuineIntelcpu family : 6model : 13model name : QEMU Virtual CPU version (cpu64-rhel6)stepping : 3cpu MHz : 199...原创 2013-04-21 20:46:54 · 714 阅读 · 0 评论 -
Hadoop 安装手册
Hadoop 安装手册 软件准备 a) CentOS6.2 b4bit ,需要安装 DEV 包,分区采用基本分区方式、关闭防 火墙、关闭 SELinux b) Oracle Javase 1.6.37 64bit(JDK) c) Hadoop1.0.4,从 http://hadoop.apache.org 下载 ...原创 2013-04-08 15:47:27 · 137 阅读 · 0 评论 -
What do real life hadoop workloads look like
http://www.cloudera.com/blog/2012/09/what-do-real-life-hadoop-workloads-look-like/原创 2012-09-10 15:52:42 · 151 阅读 · 0 评论 -
CDH4 HA 切换时间
blocksize:35Mfilesize 96Mzk-session-timeout:10slogs:active nn:Wed Sep 5 13:20:25 CST 2012zk:[zk: localhost:2181(CONNECTED) 19] get /hadoop-ha/mycluster/ActiveStandbyElectorLock...原创 2012-09-05 15:15:07 · 694 阅读 · 0 评论 -
CDH4 HA 切换
HA 切换问题切换时间太长。。。copy 0 ...Wed Sep 5 10:30:01 CST 2012copy 1 ...Wed Sep 5 10:30:18 CST 2012copy 2 ...Wed Sep 5 10:30:57 CST 201212/09/05 10:47:24 WARN retry.RetryInvocationHa...原创 2012-09-05 10:51:23 · 271 阅读 · 0 评论 -
Hadoop CDh4 Standby HA 启动过程
根据日志:StandBy NN启动过程1.获得Active NN Checkpoints信息2.在内存中，注册Live Nodes3.SB NN 进入Safe Mode4.从Datanod获取包信息5.离开Safe ModeCheckpointing active NN at bigdata-4:50070Serving checkpoints at bigda...原创 2012-08-02 11:40:26 · 192 阅读 · 0 评论 -
CDH4 HA test
场景： NN HA 设置成功，HA切换客户端出现异常，错误分析 用户执行Shell脚本问题日志：客户端2012-08-01 14:37:07,798 WARN ipc.Client (Client.java:run(787)) - Unexpected error reading responses on connection Thread[I...原创 2012-08-01 14:55:40 · 216 阅读 · 0 评论 -
Hadoop TextOutput
TextOutputFormat分隔符参数:mapreduce.output.textoutputformat.separator原创 2012-07-29 21:08:26 · 113 阅读 · 0 评论 -
Hadoop SteamXMLRecordReader
StreamXmlRecordReader设置属性stream.recordreader.class=org.apache.hadoop.streaming.StreamXmlRecordReader详情参考http://mahout.apache.org/ XMLInputFormat原创 2012-07-28 23:59:11 · 153 阅读 · 0 评论 -
Hadoop NLineInputFormat
NLineInputFormat重写了splits设置参数 mapre duce.input.lineinputformat.linespermap应用场景 如创建了一个数据源文件，每个Map处理一行，连接不同的数据库 Reduce数量设置成0，是一个Map Only任务...原创 2012-07-28 23:52:46 · 151 阅读 · 0 评论 -
KeyValueTextInputFormat
key/value 分割符mapreduce.input.keyvaluelinerecordreader.key.value.separator原创 2012-07-28 23:40:55 · 193 阅读 · 0 评论 -
Hadoop 控制split尺寸
三个参数决定Map的Split尺寸1.mapred.min.split.size2.mapred.max.split.size3.dfs.block.size根据公式: max(minimumSize,min(maximumSize,blockSize))默认情况: minimumSize < blockS...原创 2012-07-28 23:08:52 · 356 阅读 · 0 评论 -
Setting up Disks for Hadoop
Setting up Disks for HadoopHere are some recommendations for setting up disks in a Hadoop cluster. What we have here is anecdotal -hard evidence is very welcome, and everyone should expect a bit o...原创 2012-07-22 12:13:48 · 112 阅读 · 0 评论 -
Upgrade hadoop need think about it
Compatibility When moving from one release to another you need to consider the upgrade steps that are needed consider. 1.API compatibility 2.Data compatibility 3.Wire compatibilit...原创 2012-07-21 17:17:50 · 104 阅读 · 0 评论 -
Hadoop 0.23 config differ from 0.20.205
http://hadoop.apache.org/common/docs/r0.23.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html原创 2012-07-21 17:14:11 · 98 阅读 · 0 评论 -
Hadoop hdfs block 状态
1.In Service原创 2012-07-15 13:37:45 · 236 阅读 · 0 评论 -
Hadoop 配置不当引起集群不稳
配置不当内容 资源配置不当:内存、文件句柄数量、磁盘空间 需要调整的地方 Hadoop、OS 配置文件 Oversubscription of MR heap caused swap -> Swap caused RegionSrver to time out and die -> Dead RegionServer caused MR tasks to ...原创 2012-07-05 15:35:10 · 173 阅读 · 0 评论 -
Hadoop管理-集群维护
1.检查HDFS状态 fsck命令 1)fsck检测丢失及无效的数据块 -fsck只是起到检测作用，不会进行修复 2)fsck可以查看的内容 -每个文件的块数量、块的位置、机架信息 3)例子 $ hadoop fsck /$ hadoop fsck / -files$ hadoop fsck / -...原创 2012-07-03 15:27:21 · 285 阅读 · 0 评论 -
Hadoop Ganglia Metric Item
dfs.FSDirectory.files_deleted dfs.FSNamesystem.BlockCapacity dfs.FSNameSystem.BlocksTotal dfs.FSNamesystem.CapacityRemainingGB dfs.FSNamesystem.CapacityTotalGB dfs.FSnamesystem....原创 2012-06-27 11:13:25 · 139 阅读 · 0 评论 -
Hadoop 参数
转发自：http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.htmlhadoop集群默认配置和常用配置获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些...原创 2012-06-27 10:05:12 · 124 阅读 · 0 评论 -
HDFS-序列化
序列化 序列化是把结构化的对像转为字节流，以便网络传输或存储到磁盘设备上。反序列化是一个相反的过程，即把字节流转变为一系列的结构化对象。 RPC序列化建议的特性1.紧凑(Compact)即方便网络传输,充分利用存储空间2.快速（Fast)即序列化及反序列化性能要好3.扩展性(Extensible)即协议有变化，可以支持新的需求4.互操作性（Interoperable...原创 2012-06-25 14:41:32 · 275 阅读 · 0 评论 -
HDP-Hadoop管理平台简介
转发：http://hortonworks.com/products/hortonworksdataplatform/ Hortonworks Data Platform Hortonworks 数据管理平台(HDP)是一个基于Apache Hadoop 100%开源数据管理平台。它允许您载入，存储，处理和管理几乎任何格式和任何规模的数据。作为下一代企业数据架构的...原创 2012-06-14 22:44:22 · 1959 阅读 · 0 评论 -
HDP-Hadoop管理平台部署
Next Steps: Hortonworks Data Platform v1.0Thank you for registering for the Hortonworks Data Platform. Hortonworks Data Platform is designed to be installed by IT operations personnel using ...原创 2012-06-14 22:44:09 · 302 阅读 · 0 评论 -
HDFS-压缩
文件压缩带来了两大益处1）减少存贮空间2)加速网络(磁盘）传输。基于大数据的传输，都需要经过压缩处理。压缩格式压缩格式工具算法文件扩展名可分块DEFLATEN/ADEFLATE.deflateNogzipgzipDEFLATE.gzNobzip2bzip2bzip2.bz2YesLZO...原创 2012-06-13 10:30:05 · 142 阅读 · 0 评论 -
HDFS-LocalFileSystem
LocalFileSystem Hadoop LocalFileSystem是客户端校验的类。在使用LocalFileSystem写文件时，会透明的创建一个.filename.crc的文件。校验文件大小的字节数由io.bytes.per.checksum属性设置，默认是512bytes,即每512字节就生成一个CRC-32校验和。 .filename.crc文件会...原创 2012-06-13 10:26:45 · 508 阅读 · 0 评论 -
[转发]CDH4 高可用集群指南
转发：http://savagegarden.iteye.com/blog/1464504Hadoop 0.23 CDH4 高可用集群指南博客分类： 云计算 CDH4 高可用集群指南 一、 Hadoop 的高可用性 1. 概论本指南提供了一个HDFS 的高可用性（HA ）功能的概述，以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者...原创 2012-06-13 10:20:12 · 206 阅读 · 0 评论 -
[转发]hdfs源码namenode部分概述（二）
http://www.cnblogs.com/wangyonghui/archive/2011/09/07/2169565.html 写道接着讲另外几个数据结构。1.CorruptReplicationMap成员变量：Map<Block, Collection<DatanodeDescriptor>> corruptReplicasMap用来记录datanode上...原创 2012-06-11 15:50:37 · 125 阅读 · 0 评论 -
mapred-site.xml 默认参数
hadoop.job.history.location If job tracker is static the history files are stored in this single well known place. If No value is set here, by default, it is in th...原创 2012-06-08 09:18:51 · 257 阅读 · 0 评论 -
hadoop 节点计算使用内存量
计算公式：(Map + Red) x Child Heap + DN heap + TT heap + RS heap +OS (20% of RAM)原创 2012-06-06 16:49:20 · 760 阅读 · 0 评论 -
[solved] INFO hdfs.DFSClient: Could not obtain block
问题：10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block解决：An Hadoop HDFS da...原创 2012-06-06 16:34:08 · 914 阅读 · 0 评论 -
HDFS 重启步骤
当配置文件有变更时，需要重新启动服务。如果只是NN参数有变化，DN是不需要重新启动的。1.把HDFS设置成safe mode2.关闭DN进程3.停止并重启NN进程4.启动DN进程...原创 2012-06-06 10:57:14 · 2810 阅读 · 1 评论 -
[转发］hadoop 默认参数
转发：http://myext.cn/other/56013.html1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有...原创 2012-06-05 15:41:38 · 290 阅读 · 0 评论 -
[转发]hadoop作业调优参数整理及原理
转发：http://www.tbdata.org/archives/14701 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能...原创 2012-06-04 14:59:50 · 95 阅读 · 0 评论 -
[转发]hadoop参数配置（mapreduce数据流）
转发：http://samuschen.iteye.com/blog/871028Hadoop配置文件设定了Hadoop平台运行时各方面属性。大量实验证明，合理的配置会大大提高Hadoop的性能。在Hadoop-0.19.2版 本中，Hadoop配置文件在conf目录下，包括文件hadoop-default.xml和hadoop-site.xml，前者做了默认配置，不允 许修改，用户需要配...原创 2012-06-04 11:29:14 · 116 阅读 · 0 评论 -
[转发]Hadoop MapReduce程序编写备忘
转发：http://jbm3072.iteye.com/blog/1112741最近在编写Hadoop 的MapReduce程序的时侯，学到了不少东西，记下来备忘：1. Mapper和Reducer的上下文执行环境信息： 在编写Mapper类时，一般使用如下的类继承声明： Java代码 public class DistinctProcessor exten...原创 2012-06-04 11:24:37 · 142 阅读 · 0 评论 -
[翻译]无敌Hadoop(MapR 版本)
转发：http://www.mapr.com/blog/lights-out-data-center-ready-hadoop?mkt_tok=3RkMMJWWfF9wsRonuqzIZKXonjHpfsX56%2BQkWqG0lMI%2F0ER3fOvrPUfGjI4ATcRhI%2FqLAzICFpZo2FFVG%2FCH这是什么意思“数据中心准备关灯了”吗？这意味着，任何故障，无论是...原创 2012-05-30 09:40:37 · 207 阅读 · 0 评论 -
[翻译]Hadoop硬件推荐配置
原文：http://www.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/标题：Cloudera’s Support Team Shares Some Basic Hardware Recommendations 提高我们的客户开始使用Had...原创 2012-05-27 11:51:35 · 612 阅读 · 0 评论 -
[翻译]Hadoop硬件推荐配置1
转发：http://www.cloudera.com/blog/2010/08/hadoophbase-capacity-planning/Hadoop和HBase的日益普及，由于其灵活性和巨大的工作已经完成，以简化其安装和使用。这个博客是你第一次在Hadoop / HBase的集群大小提供指导。首先，有显着性差异在Hadoop和HBase使用。 Hadoop的MapReduce是主要的分...原创 2012-05-27 11:51:19 · 255 阅读 · 0 评论 -
[转发]Apache Hadoop 0.21版本新功能ChangeNode
转发：http://blog.youkuaiyun.com/ae86_fc/article/details/5844869Apache Hadoop 0.21版本新功能ChangeNodeApache Hadoop 0.21.0 在2010年8月23日release了。Cloudera的Tom White哥（OReilly.Hadoop.The.Definitive.Guide第一版的作者）已经将...原创 2012-05-27 11:51:06 · 131 阅读 · 0 评论