Jackie_ZHF的博客

MapReduce的调优总结 Mapreduce服务器调优 1. mapreduce.task.io.sort.factor:   mr程序进行合并排序的时候，打开的文件数量，默认为10个. 2. mapreduce.task.io.sort.mb:   mr程序进行合并排序操作的时候或者mapper写数据的时候，内存大小，默认100M. 3. mapreduce.map.sort.spill.p...

概述DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型。使用方法基本使...

LSM树（Log-Structured Merge Tree）存储引擎LSM树（Log-Structured Merge Tree）存储引擎代表数据库：nessDB、leveldb、hbase等核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree ，这个概念就是结构化合并树的意思，它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入...

目录1概述 12 HBase 写链路简要分析 23 Flush&Compaction 24系统开销定量分析 34.1 系统变量 44.2 磁盘容量开销量化分析 54.3 网络开销量化分析 65总结 136参考文献 13 1概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于...

文章目录1 关系运算 1.1 1、等值比较: = 1.2 2、不等值比较: 1.3 3、小于比较: < 1.4 4、小于等于比较: <= 1.5 5、大于比较: > 1.6 6、大于等于比较: >= 1.7 7、空值判断: IS NULL 1.8 8、非空判断: IS NOT NULL 1.9 9、LIKE比较: LIKE 1.1...

Hive drop table时没有反应Hive drop table时没有反应，于是强制中断。网上找了很久的方法，终于在一个大神那里找到了解决之法。但写的略简单，下面对其进行补充。mysql> show variables like 'char%';第一步：进入mysql,输入：show variables like 'char%'。显示如下 此时的ch...

                                                              Source、Channel、Sink有哪些类型     Flume Source    Source类型                    | 说明    Avro Source                   | 支持Avro协议（实际上是Avro R...

Hadoop2.X HA搭建四台机器：hadoop1，hadoop2，hadoop3，hadoop4   NN DN ZK ZKFC JN RM NM（任务管理） Hadoop1 Y   Y Y       Hadoop2 Y Y Y Y Y Y Y Hadoop3   Y Y   Y   Y Hadoop4   Y     Y ...

 二级索引之— —Global Indexing转载自朋友的博客 技术分享，https://my.oschina.net/u/3511143/blog/1808831  侵权必究，转载请说明1.1  说明在HBase中，只有一个单一的按照字典序排序的rowKey索引，当使用rowKey来进行数据查询的时候速度较快，但是如果不使用rowKey来查询的话就会使用filter来对全表进行扫描，很大程度上...

时间有限复杂的问题简单说，什么都不如来干货~使用MRJob框架 时用网上说的提交任务到集群的命令，程序会跑着挂掉。。。报143 127 的错误！！后来才发现正确的是：本地运行命令 python mypyfile.py -r local <input> python mypyfile.py -r local <input> ...

数据保护当误删数据发生时候，不管三七二十一，第一要务是进入hbase shell，执行如下命令：如果误删一张表的有多个family里的数据，需要都执行一下：alter 'tt', { NAME => 'f1', KEEP_DELETED_CELLS => TRUE }, { NAME => 'f2', KEEP_DELETED_CELLS => TRUE }设置 KEEP_...

        Hadoop 框架是使用Java编写的但是我们仍然需要使用像C++、Python等语言来实现 Hadoop程序。尽管Hadoop官方网站给的示例程序是使用Jython编写并打包成Jar文件，这样显然造成了不便，其实，不一定非要这样来实现，我们可以使用Python与Hadoop 关联进行编程，看看位于/src/examples/python/WordCount.py  的例子。我们将...

注意：block副本放置策略相关描述在Hadoop官网和源码实现与描述不一致。官网是第一个和第二个副本在同一机架上，第三个在不同机架上 更多随意。但是具体实现如下：•Block的副本放置策略    –第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。    –第二个副本：放置在于第一个副本不同的机架的节点上。    –第三个副本：与第二个副本相同机架...

HDFS优化之实战经验                 Linux系统优化一、禁止文件系统记录时间 Linux文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间，这对HDFS这种读取操作频繁的系统来说，可以节约一笔可观的开销。可以修改/etc/fstab文件中...

HDFS分布式文件系统特征block底层转载注明出处： http://blog.youkuaiyun.com/jackie_zhf/article/details/79467624众多分布式文件系统为什么用HDFS？ a、可以移动计算到数据所在节点； b、就近读取数据文件和计算 Look 代码： private static void blk() throws Exception { ...

Hive性能优化（全面）1.介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。Jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。Sum,count,max,min等UDAF，不怕数据倾斜问题,hado...