热词分析学习进度（四）

最新推荐文章于 2025-09-09 20:40:49 发布

转载最新推荐文章于 2025-09-09 20:40:49 发布 · 78 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/877612838zzx/p/10599421.html

文章标签：

#数据库 #数据结构与算法 #人工智能

博客主要讲述信息技术手册查重错误比对分析后，进行word文档错误修改，接着介绍导入数据库的三种方法。包括对数据进行处理，如用正则表达式替换空格、分割属性值等，还提及将数据转换为特定类型以用于机器学习算法，如KMeans。

信息技术手册查重错误比对分析

　　　昨天进行了对word文档错误的修改接下来可以进行导入数据库的操作。

　　　　参考博文https://blog.youkuaiyun.com/coding01/article/details/81512430

　　　导入数据库主要又是三种方法：　　

一：

1. 直接读取数据，保存成一个String类型的RDD
2. 将此RDD中每一行中的不定数量的空格用正则表达式匹配选出后替换成“，”
3. 将处理过后的RDD保存到一个临时目录中
4. 以CSV方式读取此临时目录中的数据，便可将读到的数据直接存成一个多列的DataFrame
5. 最后将此DataFrame的数据类型转为Double
二：

读取原始文件，用正则表达式分割每个样本点的属性值，保存成Array[String]类型的RDD
利用Spark ML库中的LabeledPoint类将数据转换成LabeledPoint类型的RDD。
LabeledPoint类型包含label列和features列，label列即标签列，是Double类型的，因为本次数据未经训练还没有标签，所以可随意给定一个数字；features列即特征向量列，是向量类型的，本次数据均为特征点，所以用Vectors类全部转换为向量类型。
将LabeledPoint类型的RDD转换为DataFrame并只选择其features列，得到一个新的DataFrame，然后就可以在此df上进行一些机器学习算法（如：KMeans）了。

转载于:https://www.cnblogs.com/877612838zzx/p/10599421.html