SCALA随记

1. 系统换行符

// 获取操作系统对应的换行符
System.getProperty("line.separator")

各系统换行符：
java中的转义符"\r\n":
windows下的文本文件换行符:\r\n
linux/unix下的文本文件换行符:\r
Mac下的文本文件换行符:\n

为什么要用System.getProperty(“line.separator”)代替固定格式的换行符：

1. 具备平台无关性
2. 一次编写，到处运行
3. 更保险

注意点：
并不是说具备了平台无关性，保险这些好处就可以总是这么用了。要根据具体情况来使用，比如说，在Windows 上开发的代码，运行在Linux/Unix 平台下，但是用户群体使用Windows 平台。如果使用这个System.getProperty(“line.separator”)，就有可能适得其反，导致用户得到的结果不能换行，有利有弊，具体使用要看需求场景！

2. String和StringBuffer

两者的区别：

1. string 对象时恒定不变的，stringBuider对象表示的字符串是可变的。stringBuilder是.net提供的动态创建string的高效方式，以克服string对象恒定性带来的性能影响。
2. 对于简单的字符串连接操作，在性能上stringBuilder并不一定总是优于string。因为stringBuider对象创建代价较大，在字符串目标连接较少的情况下，过度滥用stringBuilder会导致性能的浪费，只有大量的或者无法预知次数的字符串操作，才考虑stringBuilder来实现。事实上，一般连接次数设置100次以内，根本看不出两者的性能差别。
3. 当修改字符串信息时，此时不许创建对象，可以使用stringBuilder对象。

3. While判断条件中执行多个操作

//可以用大括号
while({record = br.readLine();record != null}){
  finalr += (record + ls)
}

4. 从resource读取文件

1． BufferReader

//获取字节流，读取一个个字节
val is = BaseFileUtils.this.getClass.getClassLoader.getResourceAsStream(path)
//将字节流转换为字符流，读取一个个字符
val isr = new InputStreamReader(is)
//高级封装，提供行读取
val br = new BufferedReader(isr)

2． Source

//获取字节流，读取一个个字节
val is = BaseFileUtils.this.getClass.getClassLoader.getResourceAsStream(path)
val sr = Source.fromInputStream(is)

5. 判断HDFS上文件路径是否存在

单机环境下，代码如下：

val conf = spark.sparkContext.hadoopConfiguration

val path = new org.apache.hadoop.fs.Path("hdfs://localhost:9000/user/root/modelNames/part-00000")
val fs = path.getFileSystem(conf) //得hdfs文件系统中的路径信息

val modelNamesExists = fs.exists(path)

println(modelNamesExists)

集群环境下，代码如下：

val conf = spark.sparkContext.hadoopConfiguration
val fs = org.apache.hadoop.fs.FileSystem.get(conf)

val modelNamesExists = fs.exists(new org.apache.hadoop.fs.Path("hdfs://localhost:9000/user/root/modelNames/part-00000"))

println(modelNamesExists)