Apache commons-io 包中的CharSet编码用IOUtils 读文件，在Hadoop下问题

最新推荐文章于 2025-02-13 22:14:26 发布

原创最新推荐文章于 2025-02-13 22:14:26 发布 · 2.7k 阅读

0 ·

CC 4.0 BY-SA版权

java 专栏收录该内容

5 篇文章

订阅专栏

Apache Commons IO的CharSet编码在Hadoop环境中可能导致问题，建议避免使用CharSet.forName("UTF-8")。直接指定编码为""UTF-8""，例如：IOUtils.readLines(inputStream, ""UTF-8"")，以免引发错误。" 102680937,8012000,Docker中安装配置MySQL5.7详细步骤,"['Docker', '数据库管理', 'MySQL安装', '配置文件', '数据迁移']

<span style="font-size:18px;">15/01/15 15:46:39 INFO mapreduce.Job:  map 0% reduce 0%
15/01/15 15:46:43 INFO mapreduce.Job: Task Id : attempt_1419754160864_0218_m_000000_0, Status : FAILED
<span style="color:#ff0000;background-color: rgb(255, 255, 255);">Error: <strong>org.apache.commons.io.IOUtils.readLines(Ljava/io/InputStream;Ljava/nio/charset/Charset;)</strong>Lj</span>ava/util/List;
15/01/15 15:46:48 INFO mapreduce.Job: Task Id : attempt_1419754160864_0218_m_000001_0, Status : FAILED</span>

CharSet引用在Haoop下可能存在问题，直接String encoding="UTF-8"，不要这么写：CharSet.forName("UTF-8")

IOUtils.readLines(inputStream."UTF-8");而不是

IOUtils.readLines(inputStream.CharSet.forName("UTF-8"));

下面的在Hadoop下报如上错误，切记。