hadoop
关注
分享
扫一扫
文章平均质量分 82
mnasd
这个作者很懒，什么都没留下…
展开
-
Clickhouse安装部署
Atomic 中的所有表都有持久的 UUID，数据存储在/clickhouse_path/store/xxx/xxxyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy/ 路径下。执行DROP TABLE 命令，不会删除任何数据，Atomic 数据库只是通过将元数据移动到 /clickhouse_path/metadata_dropped/，并将表标记为已删除，并通知 DatabaseCatalog。指令集，因此，除非另有说明，支持它的CPU使用将成为额外的系统需求。转载 2022-11-02 11:32:49 · 10171 阅读 · 1 评论 -
Yarn-NodeManager堆内存不足导致Container被杀
默认物理内存是1GB，动态申请到了2.5GB，其中使用了695.6 MB。物理内存╳2.1=虚拟内存，2.5GB╳2.1≈5.3GB ，5.3GB虚拟内存中使用了4.0GB，当虚拟内存不够时候，NM的container就会自杀，这里虽然没耗尽，但也自杀了。所以有两个解决方案，或调整yarn.nodemanager.vmem-pmem-ratio值大点，或yarn.nodemanager.vmem-check-enabled=false，关闭虚拟内存检查。分配给AM单个容器可申请的最大内存，默认8192M，原创 2022-09-23 14:25:48 · 528 阅读 · 0 评论 -
HDFS 集成 Kerberos
本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单介绍。转载 2022-09-20 15:22:16 · 2772 阅读 · 1 评论 -
Presto性能调优的五大技巧
Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto的架构分为：Coodinator：解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。Discovery Server：Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。Worker：负责执行实际查询任务，访问底层存储系统。存储：Presto...转载 2021-01-31 13:45:44 · 2005 阅读 · 0 评论 -
yarn使用cgroup隔离cpu资源
yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重.还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源cgroupcgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源安装cgroup默认系统已经安装了cgroup了,如果没有安装可以通过命令安装CentOS 6yum install -y libc转载 2020-11-15 15:35:12 · 401 阅读 · 0 评论 -
yarn on yarn cgroup 资源隔离(cpu篇)
背景yarn container 默认不支持对cpu进行资源隔离，一些计算密集型任务甚至可能占满NM节点的cpu资源，从而影响到其他任务的执行效率。spark streaming 出现消费延时 一些调度任务运行时间波动较大例如申请的1个vcore，实际上又启动了多线程，还有GC线程等都会造成资源使用不可控。目标限制一些计算密集型任务的CPU使用，避免多 Container 运行在同一台机器上，cpu 争用导致的任务运行时间不稳定，流任务消费抖动等情况 避免个别 Contain.转载 2020-11-15 15:12:52 · 803 阅读 · 0 评论 -
YARN 资源抢占模式参数分析
### 基本概念1. 集群资源定义 YARN的资源抽象比较简单，只有两种资源：内存和CPU。而资源数量是管理员手动设置的，每个NM节点可以贡献一定数量的内存（MB）和CPU，由RM统一管理，不一定是真实的内存和CPU数。其中内存资源是比较关键的，直接决定任务能否成功。如果某个任务需要的内存过多，可能无法执行，或者OOM。CPU资源的限制比较弱，只限定了一台NM上能并发执行多少任务。如果并发的过多，执行的可能比较慢。2. 调度器 * FIFO：只有一个队列，所有用户共享。资源分配的过程...转载 2020-11-15 14:55:01 · 1367 阅读 · 0 评论 -
HDP YARN MapReduce参数调优建议
HDP平台参数调优建议 根据上面介绍的相关知识，我们就可以根据我们的实际情况作出相关参数的设置，当然还需要在运行测试过程中不断检验和调整。以下是hortonworks给出的配置建议： http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap...转载 2018-07-25 14:55:04 · 1663 阅读 · 0 评论 -
确定HDP内存配置设置
9.确定HDP内存配置设置可以使用两种方法来确定YARN和MapReduce内存配置设置： 使用HDP Utility脚本计算内存配置设置 手动计算YARN和MapReduce内存配置设置 HDP实用程序脚本是计算HDP内存配置设置的推荐方法，但也提供了有关手动计算YARN和MapReduce内存配置设置的信息以供参考。 9.1。使用HDP Utility...转载 2018-07-25 14:09:37 · 1509 阅读 · 0 评论 -
NameNode自定义监控
采集指标的地址（以HBase39集群的HDFS为例）：http://xxxxxx:50070/jmx?qry=Hadoop:service=NameNode,name=*一、NameNode文件系统详细信息（核心指标）Hadoop:service=NameNode,name=FSNamesystemHadoop:service=NameNode,name=FSNamesystemStatMetri...原创 2018-07-13 13:34:11 · 2921 阅读 · 0 评论 -
DataNode自定义监控
采集路径：http://r720ip67:50075/jmx?qry=Hadoop:service=DataNode,name=*一、DataNode性能信息（核心指标）Hadoop:service=DataNode,name=DataNodeActivity-R720ip67-50010MetricType(GAUGE,COUNTER)类型业务意义备注BytesWrittenCOUNTER To...原创 2018-07-13 13:32:24 · 1514 阅读 · 0 评论 -
HDFS集群重启（不含HBase，允许业务中断）
Step1：关闭无状态的服务，比如Yarn；Step2：逐个重启DN实例；Step3：逐个重启JournalNode实例；Step4：观察DN、JournalNode和NN服务都正常的情况下，进行下一步（主要是NN的状态）；Step5：关闭两个NN实例；Step6：重启NN的Active实例（JournalNode必须全部启动）；Step7：观...原创 2018-07-13 11:36:15 · 1459 阅读 · 0 评论 -
HDFS NN切换到HA的过程（CDH）
一、在主页上找到“启动High Availablity”二、选择新增角色NN backup和3个JournalNode的节点三、确定新增实例的目录原创 2018-07-13 11:35:37 · 846 阅读 · 0 评论 -
yarn 配置
原创 2018-07-13 11:14:43 · 463 阅读 · 0 评论 -
基于YARN的MapReduce日志几个注意事项
说明：本文提及的所有配置参数，都是基于Hadoop 2.5.0-cdh5.2.0环境。MapReduce（MR）的调试是一个比较麻烦的问题，除了一些辅助调试工具（如mrunit）外，相信通过日志定位问题仍然是一个比较常见的方法。虽然这种方法比较原始，但是很多时候也能解决大问题......下面将描述使用MR的日志时，需要注意的一些问题。1. MR运行过程中，日志将暂存于yarn.node...转载 2018-07-24 15:25:46 · 987 阅读 · 0 评论 -
Hadoop计算能力调度器算法解析
1. 编写目的 本文描述了hadoop中的计算能力调度器（Capacity Scheduler）的实现算法，计算能力调度器是由Yahoo贡献的，主要是解决HADOOP-3421中提出的，在调度器上完成HOD（Hadoop On Demand）功能，克服已有HOD的性能低效的缺点。它适合于多用户共享集群的环境的调度器。本文解析的计算能力调度器属于Hadoop 0.20.2。本文组织结构如 下...转载 2018-07-25 15:35:14 · 626 阅读 · 0 评论 -
Hadoop的三种作业调度原理汇总
Hadoop调优方式一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中。Datanode节点的TaskTracker一直通过RPC向JobTracker发送heartbeat询问有没有任务可做，如果有...转载 2018-07-26 11:40:02 · 810 阅读 · 0 评论 -
两个resourcemanager都处于standby，zkfc无法切换resourcemanager
该问题是对yarn-site.xml文件里的内存分配调整造成的，当强制变换yarn-resourcemanager为active报错yarn rmadmin -transitionToActive --forcemanual rm1You have specified the forcemanual flag. This flag is dangerous, as it can ...转载 2018-07-31 09:23:47 · 3288 阅读 · 0 评论 -
第9课 zookeeper 介绍和使用
声明本文基于Centos 6.x + CDH 5.xzookeeper有什么用 看了之前的教程，会发现多处出现zookeeper，比如hadoop的 auto failover 得用 zookeeper ，Hbase 的 RegionServer 也得用zookeeper。其实不止hadoop，包括现在小有名气的 Storm 用的也是zookeeper。那么zookeeper 究竟是做什么用...转载 2018-03-15 21:59:38 · 187 阅读 · 0 评论 -
YARN NodeLabel功能以及在EMR弹性伸缩中的应用
YARN Node Label功能最早是在Hadoop 2.6版本中引入，在后续版本中有更多的功能完善。到了Hadoop 2.8.x版本之后，该功能已经比较完整，可以满足日常使用。在本文中，我们需要将Node Label功能应用在EMR弹性伸缩场景中。其实Node Label特性更准确的叫法是Node Partition，也就是说通过label把YARN集群中的节点分组，每个节点拥有一个lab...转载 2019-09-09 23:20:26 · 798 阅读 · 0 评论 -
Apache Hadoop如何支持读写OSS
背景2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS。然而，低版本的Apache Hadoop官方不再支持OSS，本文将描述如何通过支持包来使Hadoop 2.7.2能够读写OSS。如何使用下面的步骤需要在所有的Hadoop节点执行下...转载 2019-05-13 21:22:35 · 2928 阅读 · 1 评论 -
hadoop 2.0以后最新指标
系统参数监控metrics load_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间，精确到秒bytes_in 网络接收速度，单位bytes/secbytes_out 网络发送速度，单位bytes/seccpu_aidle 启动的空闲CPU百分比cpu_idl...转载 2018-12-21 22:11:09 · 1023 阅读 · 0 评论 -
[Hadoop shell命令]--处理hdfs上错误的block块并修复
情景：运行Spark程序出现报错1、报错信息：17/05/09 14:30:58 WARN scheduler.TaskSetManager: Lost task 28162.1 in stage 0.0 (TID 30490, 127.0.0.1): java.io.IOException: Cannot obtain block length for LocatedBlock{BP-20...转载 2019-01-29 15:59:07 · 1059 阅读 · 0 评论 -
ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装)
一、ranger权限管理安装 ranger安装参考：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html 二、rang kms 秘钥管理安装 ranger kms安装参考：https://docs.hortonworks...转载 2019-01-08 22:58:58 · 1959 阅读 · 0 评论 -
HDFS snapshot操作实战
Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用：防止用户的错误操作：管理员可以通过以滚动的方式周期性设置一个只读的快照，这样就可以在文件系统上有若干份只读快照。如果用户意外地删除了一个文件，就可以使用包含该文件的最新只读快照来进行回复。备份：管理员可以根据需求来备份整个文...转载 2018-09-28 14:26:12 · 434 阅读 · 0 评论 -
MapReduce计数器
原文链接：http://itfish.net/article/61067.html1、MapReduce计数器是什么？ 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。2、MapReduce计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduc...转载 2018-08-08 08:52:46 · 165 阅读 · 0 评论 -
【HADOOP】“填坑”指南
Hadoop作为大数据离线分析平台环境，目前已经在各行业广泛使用，由于应用场景、环境版本、数据量等不同因素，经常会出现一些集群问题，有些问题会导致数据查询错误，有些问题会导致整个集群无法正常运行，本系列文章将列举一些问题案例，通过描述问题处理过程。 场景数据表翻倍，导致数据表产生后无法查询。软件环境：Hadoop 2.6 错误1 select * from table...转载 2018-07-24 14:59:06 · 1223 阅读 · 0 评论 -
HDFS Balancer（HDFS重新平衡）
参考文档： http://blog.youkuaiyun.com/chilianyi/article/details/50946818https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hdfs_balancer.html CDH官网文档1.快速入门当前存储集群...原创 2018-07-13 09:38:09 · 1792 阅读 · 0 评论 -
distcp解决HDFS部分Datanode空间占用率高的问题
官方文档：http://hadoop.apache.org/docs/r1.2.1/distcp.html1.确定要distcp的目录Hadoop集群一般是逐步扩容的， 对于老的静态数据就会集中存储在老的Datanode上，导致老的Datanode的空间占用率很高。找出陈旧的静态数据目录使用distcp命令拷贝到新目录是一种“安全”的做法。找出陈旧的静态数据目录的标准：目录创建时间和里面内容的最后...原创 2018-07-13 09:36:34 · 1921 阅读 · 0 评论 -
HDFS Balancer（HDFS重新平衡）
参考文档： http://blog.youkuaiyun.com/chilianyi/article/details/50946818https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hdfs_balancer.html CDH官网文档1.快速入门当前存储集群...原创 2018-05-18 21:23:41 · 22472 阅读 · 1 评论 -
Can't scan a pre-transactional edit log，Timed out waiting 120000ms ，JournalNode数据文件破坏集群恢复方法
journalnode 文件破坏2018-05-10 16:43:48,446 WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(364)) - After resync, position is 7987202018-05-10 16:43:48,446 WARN namenode.FSImage (EditLog...原创 2018-05-11 08:37:49 · 964 阅读 · 0 评论 -
namenode gc导致的故障一例
故障现象：6点1 分左右开始， Hadoop集群异常，所有的hdfs操作都出现问题。几十个 job报以下错12345678FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not sup...转载 2018-03-18 20:02:30 · 3332 阅读 · 0 评论 -
第2课 hadoop 安装教程 (CentOS6 CDH分支 yum方式)
我们这个教程是在 centos 上安装cdh的教程，而且使用的是yum方式，不建议使用界面化方式，因为用过linux的都知道，命令行出错更少，其实更轻松更靠谱。安装之前1. 安装jdkcdh5 对应的jdk 是 oracle-jdk 1.7.0_25 ，注意是 oracle-jdk ，千万别 yum install jdk 就完事了，因为那样装的是 openjdk到这边 http://www.o...转载 2018-03-11 20:32:06 · 530 阅读 · 0 评论 -
第1课 hadoop体系介绍
本教程适用人群如果你是以下的几类人中的一种老板叫我搭建一个hadoop集群，但是我还什么都不懂，网上的教程概念介绍的好多，我看的头晕，咋办？我想学hadoop但是我是个完全不懂的小白，hadoop有这么多的东西，我究竟要学那些算是能学会hadoop？那么你就是本教程的适用人群！看完这个教程你不会成为一只Hadoop大象，但是你可以成为一只小象，至少你已经知道Hadoop长什么样子，有几条腿了，可以...转载 2018-03-11 20:21:05 · 673 阅读 · 0 评论 -
第10课 Hive 安装和使用教程
声明本文基于Centos 6.x + CDH 5.xHive是什么Hive 提供了一个让大家可以使用sql去查询数据的途径。让大家可以在hadoop上写sql语句。但是最好不要拿Hive进行实时的查询。因为Hive的实现原理是把sql语句转化为多个Map Reduce任务所以Hive非常慢，官方文档说Hive 适用于高延时性的场景而且很费资源。举个简单的例子，可以像这样去查询[plain] vie...转载 2018-03-15 22:00:44 · 324 阅读 · 0 评论 -
第8课Hbase的java调用方法
声明本文基于Centos 6.x + CDH 5.x本例中 Hbase 是安装成集群模式的本文基于Maven3.5+ 和 Eclipse 4.3教程后的参考资料建议大家一定要看下我们搭建hbase并不是要用shell来查数据的，我们是要写基于hbase的应用的，所以学习如何使用java来调用hbase是必修课。环境搭建建立项目打开Eclipse 建立一个Maven项目，archetype选quic...转载 2018-03-15 21:58:27 · 571 阅读 · 0 评论 -
第7课 Hbase 使用教程
声明：本文基于Centos 6.x + CDH 5.x 本例中 Hbase 是安装成集群模式的本文通过建立student表等相关操作，简单介绍一下hbase的shell操作建立student 表使用 hbase shell命令进入hbase的命令行[plain] view plain copy[root@localhost conf]# hbase shell 2014-08-22 16:10:...转载 2018-03-15 21:57:22 · 1324 阅读 · 0 评论 -
第6课 Hbase 安装教程
声明：本文基于Centos 6.x + CDH 5.x 官方英文安装教程http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_hbase_installation.html 。本文并不是简单翻译，而是再整理因为之前说过了HA模式的部署，所以这...转载 2018-03-15 21:56:19 · 383 阅读 · 0 评论 -
第5课 YARN 安装以及helloworld (基于centos的CDH)
新老MapReduce的比较说到YARN肯定要先说下老的MapReduceMRv1 (MapReduce v1)的架构图从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce 框架的中心，他需要与集群中的机器定时通信 (hear...转载 2018-03-14 21:03:22 · 424 阅读 · 0 评论 -
第4课 Hadoop 安装教程 - HA方式 (2台服务器)
声明本文基于Centos 6.x + CDH 5.x 官方英文安装教程 http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_cdh5_install.html 本文并不是简单翻译，而是再整理如果没有yum源请参考http://blog.csdn.ne...转载 2018-03-14 21:02:09 · 289 阅读 · 0 评论