Scala学习(本地向量集 loadLibSVMFile)

最新推荐文章于 2021-04-23 11:17:42 发布

广州接入

最新推荐文章于 2021-04-23 11:17:42 发布

阅读量7.1k

点赞数 1

分类专栏： 5、模式与算法

本文链接：https://blog.youkuaiyun.com/hawksoft/article/details/52020465

版权

5、模式与算法专栏收录该内容

73 篇文章

订阅专栏

本文介绍了一种特定的SVM文件格式及其使用要点，并通过一个基于Spark MLlib的示例展示了如何加载和处理这种格式的数据。重点讨论了文件格式的要求、注意事项以及如何利用Spark进行分布式处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是SVM文件格式例子：

1 1:2 2:3 3:4
2 1:1 2:2 3:3
1 1:1 2:3 3:3
1 1:3 2:1 3:3

需要注意以下几点：

1）标签列可以重复
2）索引要从1开始，从0开始的时候生成的内部索引时从-1开始，而且数据长度会比实际少1；
3）数据的长度是以最大列数为准的，因此最好是要保持数据列数一致；

Scala的MLib支持的本地数据的类型主要是整数和浮点数，因为MLib主要是用来计算。而向量数据和数学上的向量是对应的。

下面是测试代码：

def DoTestA9(): Unit ={
    var theConf = new SparkConf().setMaster("local").setAppName("testRDDMethod")
    var theSC = new SparkContext(theConf)
    var theMU = MLUtils.loadLibSVMFile(theSC,"d://lbl11.txt")
    theMU.foreach(println(_))
  }

从上面的例子也可以看出，文件的读取是需要用到SparkContext的，如果每个spark节点的文件名和存储路径都一样，就可以实现分布式的访问或者存储。