半日闲的博客

昨天有个面试，问到在MapReduce过程中会发生几次排序？ 如图，应该还是两次排序. 第一次应该是在map数据持久化到本地硬盘的时候，这个时候，每次从内存spill之前会做inmemory sort，在map操作完成之前还会对所有spill文件做排序，完成磁盘文件合并。步骤应该是partition in momery sort combine

Impalaimpala 在查询大文件的时候会直接报错： https://issues.apache.org/jira/browse/IMPALA-1619 Support single allocations larger 1GB 版本：impala 2.3.0-cdh5.5.1Sqoop 抽数进程僵死sqoop 抽数进程僵死，查看jdk源码，发现是在一个函数调用的地方，尝试用

Hadoop audit 配置修改log4j.properties ## hdfs audit logging#hdfs.audit.logger=INFO,NullAppenderhdfs.audit.log.maxfilesize=256MBhdfs.audit.log.maxbackupindex=20log4j.logger.org.apache.hadoop.hd...

问题描述在HDFS namenode在切换的时候，发现切换后有大量Missing replicas. 文章 HDFS HA切换后missing block问题分析 有分析，问题原因是因为DataNode blockReport时，Edit log 还没有进行同步导致的问题。Hdfs Ha 管理命令查看NameNode状态 hdfs haadmin -getServiceSta

背景TimeLineServer v1存在什么问题在我们集群只保留3.5天的运行日志时，leveldb数据库大小就已经达到了93G。yarn 的任务在post entities 时，数据的插入会卡的厉害，进而导致集群各种不确定性问题，包括yarn application的状态机转换出错，yarn application 无法正常退出，集群经常出现Socket 连接失败，输入输出流的异常...

优化前SQLSELECT A.DT, A.sdcuser_id as user_id, A.visitorid as app_device_id, A.visitid as sd_sid, b.activity_id, a.sdcSource FROM base.UDS_B_I_OMM_WEBTRENDS_T A...

运维启动和关闭 ：~/bin/kylin.sh start 和~/bin/kylin.sh stop 默认服务端口7070，修改默认端口：~/tomcat/conf/server.xml 默认用户名密码：ADMIN / KYLIN

程序入口Hadoop Branch ： Hadoop-2.6.0使用样例 ： hadoop dfs -checksum /tmp/README.txt结果/tmp/README.txt MD5-of-0MD5-of-512CRC32C 00000200000000000000000017970719be16d1071635fa381b95f957算法说明：“MD5-of-” ...

本地环境配置核心是增加namenode启动调试参数export HADOOP_NAMENODE_OPTS="${HADOOP_NAMENODE_OPTS} -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8005"一般namenode启动命令有 sbin/hadoop-daemon.sh start namen...

1.停止hadoop运行运行stop-all.sh2.配置namenode节点和datanode节点的数据存储目录修改hdfs-site.xml配置文件，添加如下内容<property>   <name>dfs.name.dir</name>   <value>/home/test/hadoop-test/dfs/name&...

 错误描述：在50075查看hdfs数据文件中有 & 符号时，中文数据乱乱码错误原因：系统默认字符集：Charset.defaultCharset().name() 为UTF-8，但是在系统在web程序中取出得编码值为：US-ASCII。在字符串编码时，默认使用的是US-ASCII字符集，该字符集应该是UTF-8子集中的单字符集，导致中文无法由byte拼装还原。 参考：...

Hadoop Metrics2的实现应该是在14年左右就已经非常成熟了，研究的人也比较多了。一个出现很久的东西，并非没有学习价值。如Metrics2 和之前的Metrics 一代做了哪些改进？如果我们自己设计一套Metrics信息，哪些是可以借鉴的地方？所有Source 和Sink全部是可配置的（和我们常见的Log4j配置一样），这样可以在不修改源码的情况下，自定义Metrics的监控Met...

文章目录JournalNodeQJM 方案对象实现过程确定 EditsDirs实例 FSImage 和 FSEditLogNameNode服务启动和journalSet 实例初始化journalSet 初始化JournalManager / QuorumJournalManager 初始化AsyncLoggerSetclass IPCLoggerChannel implements AsyncL...

文章目录NameNode启动进入StandBy StateZKFC 进程监控和切换 NameNode HA State启动 HDFS ZKFC 服务启动 HealthMonitor服务NameNodeRpcServerdoHealthChecks()ActiveStandbyElector 和 ActiveStandbyElectorCallbackzkClient 操作异步方法回调Elector...

文章目录启动StandbyCheckpointerdoCheckpointsave FSImage文件启动独立线程，SNN 向NN PUT FSImageImageServlet 接收 FSImage启动StandbyCheckpointer// 接上篇StandbyState public void enterState(HAContext context)NameNodeHAConte...

文章目录ORC 文件格式，配置参数及相关概念ORC 文件格式UML类图OrcFile writer 创建OrcFile Writer 配置参数相关概念动态数组 DynamicIntArray 和 DynamicByteArray初始化chunk 扩容OrcFile writer的 write()方法 写数据WriterImpl addRow程序入口StringTreeWriter : void w...

Hivehive在和spark 2.*集成的时候，把加载spark包的代码注释一下112 # if [[ -n “$SPARK_HOME” ]] 113 # then 114 # sparkAssemblyPath=ls ${SPARK_HOME}/lib/spark-assembly-*.jar 115 # CLASSPATH=”CLASSPATH:" role="pres

后台服务进程信息查看conf jmx logs logLevel stacks调试信息set hive.execution.engine=mr;set yarn.nodemanager.delete.debug-delay-sec=1200; 日志保留时间，单位：秒set mapreduce.task.timeout=60000000; 在debug的时候，c...

linksNew in Cloudera Labs: Apache HTrace (incubating)Installing htraced我们hadoop集群使用的是CDH的源，所以直接 yum install Htrace-htraced 即可。或者到 http://archive.cloudera.com/cloudera-labs/htrace/ 地址自己下载安装包安装。 例如： ht

编写MR程序程序思路使用key来作为domain和uid的区分，每一条记录都是一个pv。接到key后判断，如果domain为新的domain，则开始重新统计pv和uv，如果uid变化，则uv++，pv是一直++即可实现。MR 程序实现pv和uv统计

Reduce fetch map data ,but OOM2015-11-26 15:02:18,687 INFO [main] org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl: MergerManager: memoryLimit=1 336 252 800, maxSingleShuffleLimit=133625280,

转自：http://bigdatadecode.club/HDFS%E7%A7%9F%E7%BA%A6%E8%A7%A3%E6%9E%90.html租约(Lease)是一种广泛应用与分布式系统领域的协议，主要用来维护分布式系统的一致性。租约是在解决缓存一致性时被提出的。所谓租约，其实就是一个合同，即服务器给予客户端在一定期限内可以控制修改操作的权力。如果服务器要修改数据，首先要征求拥有

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, Hbase, Hive, ZooKeeper:组件节点默认端口配置用途说明

hadoop命令行 与job相关的：命令行工具 • 1.查看 Job 信息：hadoop job -list 2.杀掉 Job： hadoop  job –kill  job_id3.指定路径下查看历史日志汇总：hadoop job -history output-dir 4.作业的更多细节： hadoop job -history all output-dir

Hadoop任务运行目录

block写报错

kerberos 安装通过yum安装即可，组成KDC

在运行过程中，占用物理内存过大，导致container被yarn killhive.exec.orc.zerocopy=true;

namenode 节点异常关闭查询journalnode节点没有响应，导致namenode节点关闭2017-10-03 09:48:15,982 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at 770723902017-10-03 09:48:34,996 WARN org.apach

Hadoop Journal RPC 调用类结构说明

测试sql ： select * from a join b where a.id= b.id;a 0 hash map table b 1 scan table alias ：　１MapJoinOperator 核心代码// MapJoinOperator.java在cleanUpInputFileChangedOp() 方法中load hash tablegenerateMap

问题定位在执行spark代码的时候，一个读只有几行文件的操作，耗时20几秒，明显异常，通过Yourkit发现耗时的地方全部都是在做DNS解析。问题分析通过简单的测试代码测试HDFS连接，在创建socket的时候，首先查找的host是hdfs ha的虚拟地址，在这个地方去解析地址耗时过多，然后返回失败信息，再去寻找真正的主机地址。public static InetSocketAddress crea

事件异步分发器AsyncDispatcher处理流程service初始化时new一个dispatcher用于事件分发dispatcher内部有一个queue用于接收和异步处理事件dispatcher register各种事件类型及事件处理类，事件处理类中有handle方法用于处理时间* EventType and HandlerResourceManager.java NodesLis

文章目录NameNode初始化getNamespaceEditsDirsFSImage 初始化`FSNamesystem.loadFromDisk(conf)``fsImage.recoverTransitionRead(startOpt, this, recovery);``FSImage.loadFSImage()`FSEditLog初始化initEditLogopenEditLogForWr...