闵开慧-优快云博客

原创 Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild

执行hadoop classpath 在hadoop配置文件 yarn-site中添加以下配置 <property> <name>yarn.application.classpath</name> <value>/home/hadoop/hadoop-3.3.1/etc/hadoop:/home/hadoop/hadoop-3.3.1/share/hadoop/common/lib/:/home/hadoop/hadoop-3.3.1/sh...

2021-07-30 14:54:49 1161

转载 VC6中打开文件时显示Microsoft （R）Developer Studio 已停止工作

针对于windows用户装了office visio 后vc++6.0会不能够打开工程项目的解决方案。我用原博主的方法成功安装上去了的。感谢。不少使用过Microsoft Visual c++ 6.0的同学可能会遇到这样一个烦人的问题，无论是工具栏上的打开按钮还是通过文件->打开都不能打开文件，也不能在项目中添加文件，症状表现为无响应或者更严重的是出现提示：在 0x5003ea...

2018-09-07 11:36:59 4081

转载 java获取cpu、内存、硬盘信息

1 下载安装sigar-1.6.4.zip 使用java自带的包获取系统数据，容易找不到包，尤其是内存信息不够准确，所以选择使用sigar获取系统信息。下载地址：http://sourceforge.net/projects/sigar/files/latest/download?source=files 解压压缩包，将lib下sigar.jar导入ecl

2014-11-03 18:03:47 2610 1

转载 hadoop返回json格式所有监控值

datanode监控json格式数据：将http://namenode_ip:50070/dfshealth.jsp的地址替换成http://namenode_ip:50070/jmxresourcemanager监控json格式数据：将http://resourcemanager_ip:8088/dfshealth.jsp的地址替换成http://resourcemanager_ip:808

2014-11-03 18:02:54 810

原创 hadoop压缩与解压

1 压缩一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据，使数据占用的存储空间比较小，这个过程一般叫压缩。和压缩对应的概念是解压缩，就是将被压缩的数据从特殊编码方式还原为原始数据的过程。压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或

2014-11-03 18:00:02 940

转载如何恢复hadoop中被删除的文件

hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.Trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下：1 设置.Trash文件夹如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下： fs.trash

2014-11-03 17:57:33 1053

原创 Java自学之道

Java自学之道完整版开源中国下载地址： http://www.oschina.net/news/42748/java-self-study-guide个人QQ已加满，可加Java自学之道技术分享及经验交流群：301318062Java、hadoop、spark相关技术共享交流群：287683381

2014-11-03 15:46:58 1368 2

原创 eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分：hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单，部署后就可以在eclipse中像操作windows目录一样操作hdfs文件。而mapreduce任务执行环境的部署就比较复杂一点，不同版本对环境的要求度高低不同就导致部署的复杂度大相径庭。例如hadoop1

2014-11-03 15:38:36 931