Hadoop异常：n must be positive

最新推荐文章于 2023-10-19 14:49:31 发布
原创 最新推荐文章于 2023-10-19 14:49:31 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #java #jira

文章详细介绍了在使用HDFS处理5000万个文件时遇到的Datanode异常问题，通过分析发现是由于数据块扫描周期设置过大导致Integer溢出，提出解决方案将随机数生成改为取绝对值，避免了异常发生，并链接到已存在的Apache JIRA问题跟踪。
测试HDFS 5000万个文件场景时，看到Datanode的log上不断的报如下异常

11/11/10 00:00:00 ERROR datanode.DataNode: DatanodeRegistration(172.17.1.23:50010, storageID=DS-857985192-202.106.199.37-50010-1320820941090, infoPort=8083, ipcPort=50020):DataXceiver java.lang.IllegalArgumentException: n must be positive         at java.util.Random.nextInt(Random.java:250)         at org.apache.hadoop.hdfs.server.datanode.DataBlockScanner.getNewBlockScanTime(DataBlockScanner.java:284)         at org.apache.hadoop.hdfs.server.datanode.DataBlockScanner.addBlock(DataBlockScanner.java:301)         at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:372)         at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:103)         at java.lang.Thread.run(Thread.java:662)


经过跟踪，发现问题是出在DataBlockScanner内：
    long period = Math.min(scanPeriod, 
                           Math.max(blockMap.size(),1) * 600 * 1000L);
    return System.currentTimeMillis() - scanPeriod + 
           random.nextInt((int)period);

当BlockMap特别大的时候，比如我这里上传了5000万个文件，每个文件4KB,该数值会大于Integer.MAX 小于Long.MAX,强制转换成int会负数，导致nextInt抛出异常。
该处修改，只需要把
random.nextInt((int)period)
，替换成
random.nextInt(Math.abs((int)period))
即可。

后来又发现Hadoop已经有人提这个bug了，[url]https://issues.apache.org/jira/browse/HDFS-2541[/url]
Spark 各种配置项
zhixingheyi_tian的博客
11-07 2488
/bin/spark-shell --master yarn --deploy-mode client /bin/spark-shell --master yarn --deploy-mode cluster There are two deploy modes that can be used to launch Spark applications on YARN. In cluster m...
基于HA高可用搭建Hadoop-3.2.1实战搭建之ES-7.7.1+Kibana-7.7.1集群部署
colby_chenlun的博客
07-03 619
一、安装环境 操作系统 CentOS8 elasticsearch-7.7.1 kibana-7.7.1 机器：hadoop102、hadoop103、hadoop104、hadoop105、hadoop106 二、安装elasticsearch-7.7.1 1、上传文件elasticsearch-7.7.1-linux-x86_64.tar.gz、kibana-7.7.1-linux-x86_64.tar.gz到/opt/software目录 2、解压到/opt/module [dep.
java positive_java.lang.IllegalArgumentException: n must be positive
weixin_39916520的博客
02-12 584
public static String randomKey(){Random random = new Random();int key = random.nextInt(((int)System.currentTimeMillis()));return String.valueOf(key);}直接调用方法，发生异常：Exception in thread "main" java.lang....
java.lang.IllegalArgumentException: n must be positive
weixin_30411997的博客
05-25 842
public static String randomKey(){ Random random = new Random(); int key = random.nextInt(((int)System.currentTimeMillis())); return String.valueOf(key); } 　　直接调用方法，发生异常： Exc...
java 无效参数异常_java-非法参数异常：n必须为正
weixin_31966453的博客
02-24 737
主类：public class ECONAPP2 {static Scanner input= new Scanner(System.in);static int score = 0;static ArrayList usedArray = new ArrayList();public static void main(String[] args){app();arrayContents();}p...
Be Positive
无限迭代中......
02-25 850
https://codeforces.com/contest/1130/problem/A 题解：只要统计原来的正负数量就行了，只要正负其中一个超过一半就行  /* *@Author: STZG *@Language: C++ */ #include <bits/stdc++.h> #include<iostream> #include<algorithm&...
8. Spark源码解析之org.apache.spark.deploy.SparkSubmitArguments参数解析
L, there!
08-10 2149
SparkSubmit提交任务时，launcher.main中构建命令的SparkSubmitCommandBuilder类调用的OptionParser类的parse()，对提交的参数进行解析。OptionParser继承了SparkSubmitOptionParser，parse方法是直接调用了SparkSubmitOptionParser的。 private class Optio...
2021-11-11 Hadoop3 FSNamesystem
cn987654的博客
11-11 1749
本文主要介绍一下FSNamesystem，依赖代码为hadoop-3.3.0。 1 简介 FSNamesystem 是瞬态和持久namespace状态的容器，并在 NameNode 上完成所有记录工作。 主要作用如下： 1. 是 BlockManager、DatanodeManager、DelegationTokens、LeaseManager 等服务的容器。 2. 委托处理修改或检查namespace的 RPC 调用 3. 任何只涉及块的东西（例如块报告），它都委托给 BlockManager
Hadoop系列-10 Hive进阶实战指南：分桶表、数据导入导出、分区与压缩存储优化
yangwei2048的博客
12-08 717
Hive提高篇主要内容包括分桶表、数据导入导出和分区操作。分桶表通过对列值哈希取模实现更细粒度数据划分，提升查询和取样效率。数据导入支持多种方式：直接插入、LOAD加载、查询加载、建表时指定LOCATION等。数据导出可通过INSERT导出、Hive Shell命令和EXPORT实现。分区分为静态分区（手动指定分区值）和动态分区。分桶表创建前需设置hive.enforce.bucketing=true，并通过INSERT...SELECT将普通表数据导入分桶表。该文还提供了相关SQL操作示例和注意事项。
hadoop2.6+hive+oozie+sqoop+hue集群搭建
Chao_Qing的专栏
01-20 1472
hadoop集群搭建一、 环境说明二、 环境搭建1. Linux系统准备2. 安装jdk8并设置环境变量3. 安装mysql4. 安装hadoop5. 安装hive6. 安装sqoop7. 安装oozie8. 安装hue9. 结果展示10. 启动集群脚本 一、 环境说明 我使用的是笔记本电脑，一台8G内存，一台4G内存，然后在笔记本上搭建虚拟机centos7.0当作搭建hadoop的机器，最终的结...
java.lang.IllegalArgumentException: bound must be positive
闲言
05-05 1730
java.lang.IllegalArgumentException: bound must be positive
IllegalArgumentException: Bound must be positive
热门推荐
persistence勿忘初心
03-19 3万+
https://blog.youkuaiyun.com/persistencegoing/article/details/84376427 出现这个错是因为你代码参数的原因 比如： int x=-1; int num=new Random().nextInt(x); x在nextInt方法中 必须大于等于0； 然后就解决了 希望大家关注我一波,防止以后迷路,有需要的可以加群...
Mahout 系列之----共轭梯度
weixin_30699465的博客
11-08 200
无预处理共轭梯度 要求解线性方程组 ，稳定双共轭梯度法从初始解 开始按以下步骤迭代： 任意选择向量 使得 ，例如， 对 若 足够精确则退出 预处理共轭梯度 预处理通常被用来加速迭代方法的收敛。要使用预处理子 来求解线性方程组 ，预处理稳定双共轭梯度法从初始解 开始按以下步骤迭代：...
spark算子大全glom_（七）Spark Streaming 算子梳理 — repartition算子
weixin_39657249的博客
12-31 288
目录天小天：（一）Spark Streaming 算子梳理 — 简单介绍streaming运行逻辑天小天：（二）Spark Streaming 算子梳理 — flatMap和mapPartitions天小天：（三）Spark Streaming 算子梳理 — transform算子天小天：（四）Spark Streaming 算子梳理 — Kafka createDirectStream天小天：（...
Spark 闭合函数清理
走向程序的康庄大道
12-17 524
  来看下面的函数 def coalesce(numPartitions: Int, shuffle: Boolean = false, partitionCoalescer: Option[PartitionCoalescer] = Option.empty) (implicit ord: Ordering[T] = null) ...
解决Matlab中遇到的Index must be a positive integer or logical
牛肉胡辣汤
10-19 3558
"Index must be a positive integer or logical"错误提示在Matlab的索引操作中经常出现。本文介绍了这个错误的常见原因，并提供了解决方法。通过检查索引是否是整数或逻辑值、是否超出边界以及是否为空，我们可以避免这个错误的发生，确保我们的索引操作正确无误。希望本文能帮助你解决Matlab中遇到的"Index must be a positive integer or logical"错误，提高你在Matlab中的编程效率。如有任何问题或疑问，请在评论区留言。
Spark RDD 之 repartition/coalesce 源码浅谈
DPnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnice的博客
04-27 1936
repartition： /** * Return a new RDD that has exactly numPartitions partitions. * * Can increase or decrease the level of parallelism in this RDD. Internally, this uses * a shuffle to ...
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path
最新发布
06-17
### 设置 HADOOP_HOME 或 HADOOP_PREFIX 环境变量 Hadoop 的安装路径未正确设置会导致类似 `Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path` 的错误。以下是解决此问题的详细方法。 #### 1. 检查 Hadoop 是否已正确安装 首先需要确认 Hadoop 是否已经正确安装，并确定其安装路径。可以通过以下命令检查： ```bash which hadoop ``` 如果输出类似于 `/usr/bin/hadoop`，则说明 Hadoop 已安装。进一步查看符号链接指向的实际路径： ```bash ls -l /usr/bin/hadoop ``` 这将显示 Hadoop 的实际安装路径[^5]。 #### 2. 设置 HADOOP_HOME 环境变量 编辑系统的环境变量配置文件（如 `.bashrc` 或 `.bash_profile`），添加以下内容： ```bash export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 将 `/path/to/hadoop` 替换为实际的 Hadoop 安装路径。例如，如果 Hadoop 安装在 `/home/admin/softwares/hadoop-2.7.2`，则应写为： ```bash export HADOOP_HOME=/home/admin/softwares/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 执行以下命令使更改生效： ```bash source ~/.bashrc ``` #### 3. 设置 HADOOP_PREFIX 环境变量 某些情况下，可能需要同时设置 `HADOOP_PREFIX`。可以按照以下方式设置： ```bash export HADOOP_PREFIX=$HADOOP_HOME ``` 将其添加到 `.bashrc` 文件中以确保每次登录时自动加载。 #### 4. 配置 Hive 的环境变量 如果使用的是 Hive，还需要在 Hive 的配置文件中指定 Hadoop 的路径。编辑 `hive-env.sh` 文件： ```bash vi $HIVE_HOME/conf/hive-env.sh ``` 添加或修改以下行： ```bash export HADOOP_HOME=/path/to/hadoop ``` 确保路径与上述设置一致[^4]。 #### 5. 验证设置是否成功 完成上述步骤后，重新启动 Hive 并验证问题是否解决： ```bash hive ``` 如果没有再次出现 `Cannot find hadoop installation` 错误，则说明设置成功[^1]。 ### 注意事项 - 如果 Hadoop 是通过包管理工具（如 Yum 或 Apt）安装的，可能需要调整符号链接以确保路径正确。 - 确保 Hadoop 的二进制文件（如 `hadoop` 和 `hdfs`）在 `$PATH` 中可用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值