Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

最新推荐文章于 2022-05-09 21:39:03 发布
最新推荐文章于 2022-05-09 21:39:03 发布 · 1.8k 阅读 · 2
文章标签：

#Hadoop #Mapreduce #Java #Apache #Linux

本文详细介绍了在使用Hadoop运行MapReduce实例时遇到的错误，即所有数据节点出现问题并导致程序终止。通过检查和调整Linux机器上的文件打开数目限制，最终成功解决了问题。解决方案包括使用ulimit命令查找默认值，修改/ect/security/limit.conf文件以增加限制，并确保所有datanode进行相应修改。

Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

 

java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

java.io.IOException: Could not get block locations. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2143)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

经查明，问题原因是linux机器打开了过多的文件导致。

用命令ulimit -n可以发现linux默认的文件打开数目为1024

修改/ect/security/limit.conf，增加hadoop soft 65535
再重新运行程序（最好所有的datanode都修改），问题解决

 

非常感谢淘宝团队：http://rdc.taobao.com/blog/dw/archives/245

C++笔记之静态成员函数可以在类外部访问私有构造函数吗？
小勇博客
08-25 1384
静态成员函数可以在类外部访问私有构造函数。在C++中，访问控制是在编译时执行的，而不是在运行时执行的。因此，即使是私有构造函数，只要它在类的作用域内，静态成员函数也可以访问它。这种情况通常用于实现设计模式，比如单例模式，其中私有构造函数用于确保只有一个实例可以被创建，而静态成员函数用于获取该实例。虽然静态成员函数可以访问私有构造函数，但它们仍然受到访问权限的限制，无法从类外部直接调用私有成员函数或变量。静态成员函数可以访问私有的构造函数，因为它是类的一部分，但是在类外部不能直接调用私有构造函数。
构造函数中的静态成员和实例成员
weixin_45147894的博客
04-08 371
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <title&gt...
构造函数 和实例成员与静态成员
weixin_56847152的博客
08-12 322
halo 大家好 我是王小白 又和大家见面了 今天我们来简单了解一下 构造函数 与 他身上的实例成员 和静态成员吧 1.构造函数也是一个普通函数，创建方式和普通函数一样，但构造函数习惯上首字母大写 2.构造函数和普通函数的区别在于：调用方式不一样。作用也不一样（构造函数用来新建实例对象） 3.调用方式不一样。 普通的函数直接方法名加()即可 构造函数的调用需要new关键字来实现 new 方法名() 4.内部用this 来构造属性和方法 代码演示:...
构造函数（静态成员）(实例成员)
m0_60585777的博客
11-17 1427
1.Javascript的构造函数中可以添加一些成员，可以在构造函数本身添加，也可以在构造函数的内部的this上添加，通过这两种方式添加的成员，就分别成为静态成员和实例成员。 静态成员：在构造函数本上添加的成员称为静态成员，只是由构造函数本身来访问 实例成员：在构造函数内部创建的对象成员称为实例化成员，只能由实例化成员的对象访问 //构造函数中的属性和方法我们称为成员，成员可以添加； //实例化成员就是指构造函数内部通过this添加的成员，uname，age，sing就是实例化成员；...
构造函数的静态成员和实例成员
qq_44746317的博客
05-09 487
js构造函数
c++类的静态成员，构造函数
Shl_1024的博客
03-31 3609
静态成员是处理同一个类的不同对象之间数据和函数共享问题的。 1.静态数据成员 我们所说的“一个类的所有对象具有相同的属性”是指实例属性，以非静态数据成员表示，如Employee中的empNo.id.它们在类的每一个对象中都具有一个复本，是每个对象区别于其他对象的特征。如果某个属性为整个类所共有（如：雇员总数）不属于任何一个具体对象，则采用static关键字来声明为静态成员。 静态成员在每
浅析C#静态类,静态构造函数,静态变量
09-02
值得注意的是，静态构造函数的执行时间早于任何实例构造函数，而且静态构造函数的执行顺序取决于静态成员的引用顺序，而不是代码中定义的顺序。 静态变量，又称为类变量，它们是属于类的，而非类的实例。这意味着...
精选资源
C++类静态成员与类静态成员函数详解
01-20
也不能在类的构造函数中初始化该成员，因为静态数据成员为类的各个对象共享，否则每次创建一个类的对象则静态数据成员都要被重新初始化。 静态成员不可在类体内进行赋值，因为它是被所有该类的对象所
Javascript 构造函数,公有,私有特权和静态成员定义方法
10-29
本文将详细解释JavaScript中构造函数中公有、私有特权成员以及静态成员的定义和使用方法。 构造函数中的成员可以被分为公有成员和私有成员。公有成员指的是那些可以被对象外部访问的属性和方法，而私有成员则是只能...
精选资源
C#静态构造函数用法实例分析
01-01
这个静态构造函数属于类，而不属于实例，就是说这个构造函数只会被执行一次，即：在创建第一个实例或引用任何静态成员之前，由.NET自动调用。 现在碰到这样一个场景：提供一个静态方法，这个静态方法在不同的地方...
C++-构造函数-static成员-C++11-友元
李木子的博客
04-16 1056
文章目录1. 构造函数1.1 构造函数体赋值1.2 初始化列表explicit关键字2. static成员2.1 概念2.2 特性3. C++11的成员初始化新玩法4. 友元4.1 概念4.2 友元函数4.3 友元类5. 内部类5.1 概念5.2 特性 1. 构造函数 1.1 构造函数体赋值 class Date { public: Date(int year, int month, int day) { _year = year; _month = month; _day = day;
构造函数的实例成员与静态成员
weixin_48837605的博客
08-17 472
1. 构造函数也是一个普通函数，创建方式和普通函数一样，但构造函数习惯上首字母大写 2. 构造函数和普通函数的区别在于：调用方式不一样。作用也不一样（构造函数用来新建实例对象） 3. 调用方式不一样。 普通的函数直接方法名加()即可 构造函数的调用需要new关键字来实现 new 方法名() 4. 内部用this 来构造属性和方法 代码演示: <script> // 构造函数 function Person(name,age) { // 构造函数内部的 t...
JavaScript面向对象、ES6类的语法、静态成员与实例成员
m0_56649557的博客
06-19 789
面向对象 面向对象的主要思想就是把需要解决的问题分解成一个个对象，建立对象不是为了实现一个步骤，而是为了描述每个对象在解决问题中的行为，面向对象的核心是对象。 面向对象的优势： 模块化更深，封装性强 更容易实现复杂的业务逻辑 更易维护、易复用、易扩展 面向对象的特征： 封装性: 对象是属性和行为的结合体 多态性: 同一消息被不同的对象接收后 会产生不同的效果 继承性: 子类可以继承父类的信息 ES6面向对象语法 ES6：ES是ECMAScript的简写，它是JavaScript的语法规范。ES6是在
static静态成员数据——成员函数——构造函数
喜欢打篮球的普通人
09-02 2653
网上总结的C++静态成员数据，我自己又重新总结了一下 一、结合实例进行说明 1. 静态成员数据变量的定义及应用 1）要在成员数据的定义之前加关键字static 2）静态成员数据必须有确定的值，但由于在类的定义中不能对成员数据直接进行初始化，故必须在类定义的外部对静态成员数据再声明一次，并进行初始化，此时，前面不需要加关键字static。同时为了保持静态成员数据取值的一致性，一般在类的构造函...
java基础面试题17--类的加载、对象的加载流程
a166244的博客
09-06 215
要知道该代码的执行顺序,首先明确： 　　1.静态代码顺序执行，请牢记！！！ 　　2.静态代码块 -> 构造代码块 -> 构造方法 public class JDtest1 { public static JDtest1 t1 = new JDtest1(); //静态成员变量 { System.out....
思绪凌乱了,原来非静态方法也可以静态调用(转)
weixin_34208185的博客
06-21 101
文章更新在这里 思绪凌乱，PHP中可以静态调用非静态方法么？ 1.PHP中可以静态调用非静态方法么？ 今天我被问到PHP中可不可以使用 className::methodName() 的方法来调用一个没有声明Static的方法。在我的印象中，我好像是见过这种用法，但又有些不确定。大家都知道，在手册或者教程里，方法被分为静态方法和非静态方法，通常我们静态调用的方法，肯定是静态方法。 那...
构造函数对静态成员变量赋值
最新发布
03-25
### C++ 构造函数中静态成员变量的赋值 在C++中，静态成员变量属于整个类而非某个特定的对象实例。因此，在构造函数内部无法直接对静态成员变量进行赋值操作[^1]。这是因为静态成员变量的生命期独立于任何对象实例，并且它们必须在类外部显式初始化。 如果希望实现某种逻辑来间接影响静态成员变量的值，则可以在构造函数中调用其他方法或者更新该静态成员变量的状态。以下是具体解释： #### 静态成员变量的初始化位置 静态成员变量需要在类定义之外单独完成初始化工作。例如： ```cpp class Example { public: static int counter; }; // 类外初始化静态成员变量 int Example::counter = 0; ``` 上述代码展示了如何在类外初始化静态成员变量 `counter` 的过程[^2]。 #### 使用构造函数修改静态成员变量 虽然不能直接通过构造函数初始化静态成员变量，但是可以通过构造函数中的逻辑改变其值。比如每次创建新对象时增加计数器的值： ```cpp #include <iostream> using namespace std; class CounterExample { public: CounterExample() { ++objectCount; // 每次创建对象时自增 } static void showObjectCount() { cout << "Total objects created: " << objectCount << endl; } private: static int objectCount; // 声明静态成员变量 }; // 定义并初始化静态成员变量 int CounterExample::objectCount = 0; int main() { CounterExample obj1, obj2, obj3; CounterExample::showObjectCount(); // 输出总对象数量 return 0; } ``` 在这个例子中，每当有新的 `CounterExample` 对象被创建时，都会执行一次 `++objectCount` 来更新静态成员变量 `objectCount` 的值。 需要注意的是，这种方式并不是真正意义上的“通过构造函数赋值”，而是利用构造函数内的语句去调整已经提前初始化好的静态成员变量状态。 #### 关键点总结 - **静态成员变量必须在类外初始化**。 - **构造函数不可以用来初始化静态成员变量**，但可以用于更改已存在的静态成员变量值。 ```cpp #include <iostream> class TestClass { public: TestClass() { value += 10; // 修改静态成员变量value的值 } static int getValue() { return value; } private: static int value; // 声明静态成员变量 }; // 初始化静态成员变量 int TestClass::value = 5; int main(){ TestClass t1,t2; std::cout<<TestClass::getValue()<<std::endl; // 输出最终的结果应该是25 return 0; } ``` 此程序片段进一步验证了以上结论：尽管我们尝试经由构造函数设置初始数值，实际上仍需依赖先前设定的基础值来进行运算处理[^3]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值