scala scala.io.Source.fromFile读取文件报错：MalformedInputException: Input length = 1

最新推荐文章于 2023-08-04 17:53:53 发布
最新推荐文章于 2023-08-04 17:53:53 发布
阅读量2.4k 收藏 1
点赞数 2
分类专栏： Java基础 错误记录 文章标签： scala java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lgshendy/article/details/84774340
版权
val file1 = scala.io.Source.fromFile("D:/IDEAWorkSpace/SparkJob/input.txt").mkString
println(file1)
val sss = scala.io.Source.fromFile(new java.io.File("D:/IDEAWorkSpace/SparkJob/input.txt")).getLines
val aa = sss.toList
for(line <-aa ){
println(line)
}

IO Exceptionjava.nio.charset.MalformedInputException: Input length = 1

这个错误的原因是因input.txt文件的编码格式不对 改为UTF8后正常
实验一：Scala 编程初级实践
个人博客地址为http://elikhb.top/
04-22 593
title: 实验一：Scala 编程初级实践description: 大数据spark基础作业imageSlim。
大数据开发语言Scala入门
qq_63055262的博客
06-25 1019
大数据开发语言Scala入门
scala文件读取报错“java.nio.charset.MalformedInputException: Input length = 1”
aitiejue5146的博客
09-02 713
今天写spark程序的时候遇到了一个问题就是，读取文件的时候报了一个错：“Exception in thread "main" java.nio.charset.MalformedInputException: Input length = 1” 读取文件的代码如下： 一看这个这个错“nio”错误，第一感觉就是读文件方法这里出了问题，于是点击去看了一下Source.fromFil...
java.nio.charset.MalformedInputException: Input length = 1
YouMe的博客
12-24 1706
今天用scala命令运行程序的时候出现这个错误：java.nio.charset.MalformedInputException: Input length = 1 后来发现是因为在程序里要统计一个文本中的词频，而这个文本文件编辑后没用保存，因此运行的时候报错了，将文本:wq保存后再次运行就没问题了。...
如何解决scala读取本地文件失败
知其然，知其所以然
03-08 3720
美图欣赏： 一.代码操作 import scala.io.Source object ReadFlieDemo { def main(args: Array[String]): Unit = { val source = Source.fromFile("D:\\input\\student1.txt") //返回的是迭代器 val array = source....
scala Source.fromFile 取出 empty iterator
Hope^_^
12-02 840
val file = Source.fromFile("path") 因为调用了一次file.length之类的函数，iterator就为空了，
java同时读取一个文件报错_scala文件读取报错“java.nio.charset.MalformedInputException: Input length = 1”...
weixin_35661054的博客
02-27 246
今天写spark程序的时候遇到了一个问题就是，读取文件的时候报了一个错：“Exception in thread "main" java.nio.charset.MalformedInputException: Input length = 1”读取文件的代码如下：一看这个这个错“nio”错误，第一感觉就是读文件方法这里出了问题，于是点击去看了一下Source.fromFile这个方法的源码：果然...
要求只使⽤scala不使用spark算子实现统计⽂本⽂件：1. 出现了多少单词2.每个单词出现的次数 3.再根据单词出现的次数倒序排列。
05-20
val text = Source.fromFile("input.txt").getLines().toList.mkString(" ") // 将单词转换为小写，并按空格分割成数组 val words = text.toLowerCase.split("\\s+") // 计算出现次数 val wordCount = words....
要求不使用spark算子只使⽤scala实现统计⽂本⽂件：1. 出现了多少单词2.每个单词出现的次数 再根据单词出现的次数倒序排列
05-20
这段代码首先使用`Source.fromFile`方法读取输入文件的内容，并使用`split`方法将其转换为单词列表。然后使用`groupBy`方法和`mapValues`方法统计每个单词出现的次数，并将结果保存在`wordCounts`变量中。最后，使用...
用Scala语言编写一个程序，实现学生成绩的读取和写入操作，完成以下操作： 从 /data/bigfiles/input.txt 文本文件中读取学生成绩数据，字段之间的间隔符为：一个空格符。 对学生成绩进行统计，计算每个学生的平均分和总分，其中平均分保留两位小数，四舍五入。 按照学生姓名升序排列，将统计结果写入到 /root/output.txt文本文件中，字段之间使用 \t 作为间隔符
06-09
val lines = Source.fromFile(inputFile).getLines().toList // 对学生成绩进行统计 val grades = lines.map(line => { val fields = line.split(" ") val name = fields(0) val scores = fields.drop(1).map...
spark读取jar中txt文件报错文件找不到
科小勒的博客
03-27 578
相比之下，getClass.getClassLoader.getResourceAsStream(filename) 方法接收的是 classpath 下文件的相对路径，因此可以在 jar 包中正确地读取文件内容。因此，如果您需要在 Spark 任务中读取 jar 包内的文件，建议使用 getClass.getClassLoader.getResourceAsStream(filename) 方法。需要注意的是，绝对路径在不同的机器上可能不同，因此这种方法并不可移植。建议仅在开发和测试环境中使用这种方法。
Scala学习笔记之文件处理
zuolixiangfisher的博客
01-15 332
1、读取行 import scala.io.Source // 读取文件的所有行，并生成一个迭代器，逐行来处理 val source = Source.fromFile("E:\\map.sql", "UTF-8") val lineIterator = source.getLines() for(line &lt;- lineIterator) println(line) 2、读取字符 如果要...
scala 基本语法
MusicDancing的博客
07-29 363
11
Flink1.13-Scala: type Context is not a member of object
一只野生的小黑猫的博客
08-04 206
Flink1.13-Scala: type Context is not a member of object
Scala应用篇一：文件的读取（Source.fromFile/getLines/close/foreach）
qq_50868643的博客
03-29 8247
一、文件的读取 如Java一般在我们使用特定的操作时需要调用某个包的某一个函数实现。在Scala里我们在读取文件时需要使用一个叫“scala.io.Source”的包，使用包中的一个叫fromFile的函数实现。现在上代码！！ import scala.io.Source object no7{ def main(args: Array[String]) { val filepath ="/home/hadoop/mydata/1.2.txt" val source = Sour
scala Source读取文件报错
Pushkin.的博客
10-06 2003
var dicfile = "D:\\temp\\stop.txt" for (word <- Source.fromFile(dicfile).getLines()) { println(word) } 报错: Exception in thread "main" java.nio.charset.MalformedInputExcepti
IDEA 中scala打包报错解决
大哥一声吼
05-29 4644
IDEA 中scala 打包报错解决
java.nio.charset.MalformedInputException: Input length = 1 scala
最新发布
03-08
### Java NIO Charset MalformedInputException 错误分析 当在 Scala 环境下使用 Java 的 `nio` 库处理字符集转换时，如果输入数据不符合指定的字符编码标准，则会抛出 `java.nio.charset.MalformedInputException` 异常。此异常通常发生在尝试解析不完整的字节序列或者非法的多字节字符组合时[^1]。 对于特定情况下的 “Input length = 1”，这表明程序遇到了无法识别的单个字节，而该字节不属于当前设定的字符集中合法的一部分。这种问题可能源于源文件的实际编码与预期不符，或者是由于某些特殊字符被错误地写入到了文件中[^2]。 ### 解决方案建议 为了有效应对上述提到的问题，在读取文件之前应该先确认其真实的编码方式，并采取适当措施来防止因编码差异引发的异常： - **检测并匹配正确的字符编码**：确保所使用的字符编码与实际存储的数据相一致。可以利用第三方库如 Apache Tika 或 ICU4J 来自动探测未知文本文件的编码格式。 - **设置替代策略**：通过配置解码器的行为参数，允许它忽略或替换那些不可映射到目标字符集中的字节序列。例如，在创建 `CharsetDecoder` 实例时调用方法 `.onMalformedInput(CodingErrorAction.REPLACE)` 和/或 `.replaceWith(String replacement)` 可以实现这一点。 ```scala import java.nio.file.Files import java.nio.file.Paths import java.nio.charset.StandardCharsets import java.nio.charset.CodingErrorAction val path = Paths.get("example.txt") // 设置解码器行为 val decoder = StandardCharsets.UTF_8.newDecoder() decoder.onMalformedInput(CodingErrorAction.REPLACE) decoder.replaceWith("?") Files.lines(path, StandardCharsets.ISO_8859_1).forEach { line => println(line.decode(decoder)) } ``` - **清理脏数据**：如果有条件的话，最好能够修正原始数据本身存在的问题，比如移除不必要的控制字符或其他可能导致冲突的内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值