学无止境

hive mapreduce 都会转成java。所以要用的java分析工具。当看到map或reduce 阶段运行缓慢，我们去线上找到mapreduce的进程：1. top 发现进程：2. top -Hp 32486 找到进程中cpu或mem磁盘消耗最高的线程：3.  用jstack主要用来查看某个Java进程内的线程堆栈信息：bin/jstack -F 26510

1、元数据（Metadata）：维护HDFS文件系统中文件和目录的信息，分为内存元数据和元数据文件两种。NameNode维护整个元数据。HDFS实现时，没有采用定期导出元数据的方法，而是采用元数据镜像文件（FSImage）+日子文件（edits）的备份机制。2、Block：文件内容而言。寻路径流程：          路径信息                         b

列出服务器所在的磁盘：maprcli disk list -host 127.0.0.1移除坏掉的磁盘：maprcli disk remove -host 127.0.0.1 -disks /dev/sdk添加新的磁盘：maprcli disk add -host 127.0.0.1 -disks /dev/sdk

为hive的每条数据添加row_number, 首先添加行号，必须考虑到数据必须放在一个reduce中去执行。先上代码package xx.xxxxx.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.hive.ql.udf.UDFType;@UDFType(determinis

1、合理设计桶的大小，插入桶的时候，桶的数目和reduce的数目一致，结合map的输出大小合理设置桶的大小，否则在reduce阶段就会非常慢。2、查看reduce的copy的速率，如果map output的文件过多，mapred.reduce.parallel.copies默认是12（mapr），表示一个reduce会开启12个线程向map阶段copy数据。可以加大次参数。3、reduce

一、     Hive join优化1.     尽量将小表放在join的左边，我们使用的Hive-0.90,所以是自动转化的，既把小表自动装入内存，执行map side join(性能好), 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可以适当调

问题引入：假设从200亿条记录中（大约200G）查找100多条其中的记录，不考虑集群的计算能力，我们可以这样写mapreduce： 直接不考虑数据量大小，reduce阶段一次行过滤。public static class UserChainSixMapper extends Mapper { private static String prefix1 = "tm"

参考Hadoop_HDFS系统双机热备方案.pdf，试验后有所增减关于hadoopnamenode的双机热备份方案1、        前言目前hadoop-0.20.2没有提供name node的备份，只是提供了一个secondary node，尽管它在一定程度上能够保证对name node的备份，但当name node所在的机器出现故障时，secondary node不能提供实时

1、NameNode启动加载元数据情景分析NameNode函数里调用FSNamesystemm读取dfs.namenode.name.dir和dfs.namenode.edits.dir构建FSDirectory。FSImage类recoverTransitionRead和saveNameSpace分别实现了元数据的检查、加载、内存合并和元数据的持久化存储。saveNameSpace将

以hadoop0.21为例。NameNode.java: 主要维护文件系统的名字空间和文件的元数据，以下是代码中的说明。/********************************************************** * NameNode serves as both directory namespace manager and * "inode table"

the ratio of reported blocks 1.0001 has reached the threshold 0.9990. Safe mode will be turned off automatically in 7 seconds.平常不知道安全模式是啥的情况下，hadoop提供了一些命令：hadoop dfsadmin -safemodeNameNode在

hbase.balancer.periodPeriod at which the region balancer runs in the master.Type: intDefault: 300000 (5 mins)Unit: millisecondshbase.client.keyvalue.maxsizeSpecifies the combined maximum a

2       常用的端口配置2.1  HDFS端口 参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://

1. 数据完整性：任何语言对IO的操作都要保持其数据的完整性。hadoop当然希望数据在存储和处理中不会丢失或损坏。检查数据完整性的常用方法是校验和。HDFS的数据完整性：客户端在写或者读取HDFS的文件时，都会对其进行校验和验证，当然我们可以通过在Open（）方法读取之前，将false传给FileSystem中的setVerifyCheckSum()来禁用校验和。本地文件系统，hadoo

本来一个小任务，周末定时任务却跑了12个小时，查看日志，满屏都是：2015-09-13 00:02:51,433 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Ramping down all scheduled reduces:02015-09-13