大数据
关注
分享
扫一扫
lvhdbb
这个作者很懒，什么都没留下…
展开
-
openstack高可用
openstack ha基础知识高可用 （High Availability，简称 HA） 高可用性是指提供在本地系统单个组件故障情况下，能继续访问应用的能力，无论这个故障是业务流程、物理设施、IT软/硬件的故障。最好的可用性， 就是你的一台机器宕机了，但是使用你的服务的用户完全感觉不到。你的机器宕机了，在该机器上运行的服务肯定得做故障切换（failover），切换有两个维度的成本：...原创 2019-12-02 22:30:41 · 1545 阅读 · 1 评论 -
Hadoop Benchmark
https://dirtysalt.github.io/html/hadoop-benchmark.htmlhttp://blog.unit1127.com/blog/2013/08/28/benchmarks/#nnthroughput转载 2019-07-27 20:00:57 · 297 阅读 · 0 评论 -
[转]Increasing the handler count can improve the performance of NameNode significantly
In this test, use NNThroughputBenchmark to create directories, the dirs parameter is always 10000, and dirsPerDir is 128. Cpu cores is 8.set handler count to 2 <property> <...转载 2019-07-31 15:15:53 · 178 阅读 · 0 评论 -
[转]Hadoop 历史服务器与日志详解
本文部分资料转自 Hadoop日志存放路径详解本文部分资料转自 Hadoop历史服务器详解本文部分资料转自 董的博客：Hadoop 2.0中作业日志收集原理以及配置方法一 Hadoop 日志存放路径详解 1 Hadoop系统服务输出的日志 2 配置 Hadoop 系统服务日志 二 历史服务器 JobHistory Server 1 历史服务器配置 2 ...转载 2019-07-29 17:31:47 · 168 阅读 · 0 评论 -
在root用户下执行脚本利用hdfs用户执行命令
【导读】 hadoop要给不同的用户赋予不同权限，保障hdfs的数据安全。 【正文】 1. 增加用户 useradd -g <用户组> <用户> usermod -g <用户组> <用户> 2. 修改目录的拥有者 sudo -u hdf...原创 2019-07-29 17:32:01 · 1457 阅读 · 0 评论 -
Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster.
在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等待。也就是说map需要资源去跑，reduce需要等map全部跑完才能进行下一个阶段，...转载 2019-07-29 17:32:12 · 1545 阅读 · 0 评论 -
Hadoop YARN中内存和CPU资源的调度和隔离
转载自董的博客Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。Re...转载 2019-07-29 17:32:17 · 271 阅读 · 0 评论 -
[转]java上传文件到HDFS
java上传本地文件到HDFS。1、pom依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</ve...转载 2019-07-31 15:09:34 · 968 阅读 · 0 评论 -
NNbench - NameNode benchmark
In Hadoop clusters, the NameNode keeps the directory tree of all files in HDFS and locations of the files across the multiple DataNodes and the NNBench runs a test for the NameNode with some load. The...原创 2019-07-31 15:15:15 · 884 阅读 · 0 评论 -
Hadoop通过命令行和网页访问hdfs
如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs，也想通过"hdfs://localhost:9000/user/hadoop的方式访问hdfs，此时做需要配置core-site.xml： <property> <name>fs.defa...原创 2019-07-16 11:05:56 · 3917 阅读 · 1 评论 -
hadoop job 日志的查看
一般有几个地方可以查看：1、通过本地日志目录查看对应container日志文件，默认在hadoop的安装目录下的/logs/userlogs/：直接用查看文件命令查看即可该地方的应用运行日志不一定最全,因为任务运行日志由每一个NM产生在本地，然后再给聚合到文件系统中(配置聚合日志功能)。2、浏览器查看,默认在/yarn/logs/${user}/logs：需要找对应的applica...转载 2019-07-16 10:55:51 · 2303 阅读 · 0 评论 -
code is 143 Container exited with a non-zero exit code 143
If we search this error message, and it is also possible due to code logic:http://stackoverflow.com/questions/15281307/the-reduce-fails-due-to-task-attempt-failed-to-report-status-for-600-seconds(h...原创 2019-07-16 10:54:46 · 9245 阅读 · 0 评论 -
如何有效提高namenode性能
In this test, use NNThroughputBenchmark to create directories, the dirs parameter is always 10000, and dirsPerDir is 128. Cpu cores is 8.set handler count to 2 <property> <name...原创 2019-07-15 23:41:02 · 832 阅读 · 0 评论 -
Operation category READ is not supported in state standby 故障解决
在执行 hive 命令时，报错信息如下Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in s...原创 2019-07-15 23:27:08 · 812 阅读 · 0 评论