Spark GraphX 对图进行可视化

最新推荐文章于 2024-01-28 14:34:02 发布

liuchengxu_

最新推荐文章于 2024-01-28 14:34:02 发布

阅读量5.6k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark 数据可视化数据分析 graphx 可视化

本文链接：https://blog.youkuaiyun.com/simple_the_best/article/details/75097615

本文介绍了如何利用Spark GraphX结合GraphStream和BreezeViz库实现数据可视化。虽然Spark本身不直接支持可视化，但通过引入第三方库，可以创建静态网络图并进行分析。文章详细阐述了安装过程、导入依赖、图的绘制方法，以及解决命名空间冲突的技巧，并提供了样式文件的使用示例。最后，讨论了现有工具在大规模网络图绘制上的局限性，并推荐了其他替代工具。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark 和 GraphX 对并不提供对数据可视化的支持, 它们所关注的是数据处理. 但是, 一图胜千言, 尤其是在数据分析时. 接下来, 我们构建一个可视化分析图的 Spark 应用. 需要用到的第三方库有:

GraphStream: 用于画出网络图
BreezeViz: 用户绘制图的结构化信息, 比如度的分布.

这些第三方库尽管并不完美, 而且有些限制, 但是相对稳定和易于使用.

安装 GraphStream 和 BreezeViz

因为我们只需要绘制静态网络, 所以下载 core 和 UI 两个 JAR 就可以了.

gs-core-1.2.jar
gs-ui-1.2.jar

breeze 也需要两个 JAR:

breeze_2.10-0.9.jar
breeze-viz_2.10-0.9.jar

由于 BreezeViz 是一个 Scala 库, 它依赖了另一个叫做 JfreeChart 的 Java 库, 所以也需要安装:

jcommon-1.0.16.jar
jfreechart-1.0.13.jar

可以到 maven 仓库去下载, 下载完成后放到项目根目录下 lib 文件夹下即可. 用 sbt 来管理依赖比较方便, 所以我使用 sbt 来安装这些依赖:

// Graph Visualization
// https://mvnrepository.com/artifact/org.graphstream/gs-core
libraryDependencies += "org.graphstream" % "gs-core" % "1.2"
// https://mvnrepository.com/artifact/org.graphstream/gs-ui
libraryDependencies += "org.graphstream" % "gs-ui" % "1.2"

// https://mvnrepository.com/artifact/org.scalanlp/breeze_2.10
libraryDependencies += "org.scalanlp" % "breeze_2.11" % "0.12"
// https://mvnrepository.com/artifact/org.scalanlp/breeze-viz_2.11
libraryDependencies += "org.scalanlp" % "breeze-viz_2.11" % "0.12"

// https://mvnrepository.com/artifact/org.jfree/jcommon
libraryDependencies += "org.jfree" % "jcommon" % "1.0.24"

// https://mvnrepository.com/artifact/org.jfree/jfreechart
libraryDependencies += "org.jfree" % <