图解大数据 | Spark GraphFrames-基于图的数据分析挖掘

Pyspark图计算:GraphFrames的安装及其常用方法 Python 没有 GraphX API,以后也不会有。但可以在Pyspark中使用graphframes,它提供了基于 Dataframe 的图形处理。本篇博客主要介绍Graphframes的安装及其使用方法。 阅读详情

作者:韩信子@[ShowMeAI]http://www.showmeai.tech/)
教程地址:http://www.showmeai.tech/tutorials/84
本文地址:http://www.showmeai.tech/article-detail/182
声明:版权所有,转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容


1.GraphFrames介绍

由Databricks、UC Berkeley以及MIT联合为Apache Spark开发了一款图处理类库,名为GraphFrames。该类库构建在DataFrame之上,既能利用DataFrame良好的扩展性和强大的性能,同时也为Scala、Java和Python提供了统一的图处理API。

1) Spark对图计算的支持

Spark从最开始的关系型数据查询,到图算法实现,到GraphFrames库可以完成图查询。

Spark GraphFrames; 基于图的数据分析挖掘; GraphFrames介绍; Spark对图计算的支持; 16-1

2) GraphFrames的优势

GraphFrames是类似于Spark的GraphX库,支持图处理。但GraphFrames建立在Spark DataFrame之上,具有以下重要的优势:

  • 支持Scala,Java 和Python AP:GraphFrames提供统一的三种编程语言APIs,而GraphX的所有算法支持Python和Java。

  • 方便、简单的图查询:GraphFrames允许用户使用Spark SQL和DataFrame的API查询。

  • 支持导出和导入图:GraphFrames支持DataFrame数据源,使得可以读取和写入多种格式的图,比如Parquet、JSON和CSV格式。

2.构建GraphFrames

以航班分析为例,我们需要构建GraphFrames:

  • ① 先把数据读取成DataFrame。
  • ② 再通过DataFrame查询,构建出点和边。
  • ③ 再通过点和边构建GraphFrames。

Spark GraphFrames; 基于图的数据分析挖掘; 构建GraphFrames; 构建点和边 → 构建GraphFrames; 16-2

# Create Vertices (airports) and Edges (flights)
tripVertices=airports.withColumnRenamed("IATA","id").distinct()
tripEdges=departureDelays
   .select("tripid","delay","src","dst","city_dst","state_dst")

# This GraphFrame builds upon the vertices and edges based on our trips (flights)
tripGraph=GraphFrame(tripVertices, tripEdges)

3.简单query与数据分析

1) 查询机场个数和行程个数

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 查询机场/行程个数; 16-3

# 查询机场个数和行程个数(查询节点和边的个数)
print("Airports:", tripGraph.vertices.count())
print("Trips:", tripGraph.edges.count())

2) 查询最长的航班延迟

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 查询最长的航班延迟; 16-4

# 查询最长延误时间(通过分组统计完成)
longestDelay = tripGraph.edges.groupby().max("delay")

3) 晚点与准点航班分析

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 晚点与准点航班分析; 16-5

# 晚点与准点航班分析(通过数据选择与过滤,进行边的分析)
print "On-time / Early Flights: %d" % tripGraph.edges.filter("delay <= 0").count()
print "Delayed Flights: %d" % tripGraph.edges.filter("delay > 0").count()

4)从旧金山出发的飞机中延迟最严重的航班

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 从旧金山出发的飞机中延迟最严重的航班; 16-6

# 从旧金山出发的飞机中延迟最严重的航班(数据选择+边分析+分组统计)
tripGraph.edges.filter(“src = ‘SFO’ and delay > 0”).groupBy(“src”, “dst”).avg(“delay”).sort(desc(“avg(delay)”))

4.图中点与边相关计算

1) 图中度的分析

在航班案例中:入度:抵达本机场的航班数量;出度:从本机场出发的航班数量;度:连接数量。

Spark GraphFrames; 基于图的数据分析挖掘; 图中点与边相关计算; 图中度的分析; 16-7

display(tripGraph.degrees.sort(desc("degree")).limit(20))

2) 图中边的分析

边的分析,通常是对成对的数据进行统计分析的

Spark GraphFrames; 基于图的数据分析挖掘; 图中点与边相关计算; 图中边的分析; 16-8

import pyspark.sql.functions as func 
topTrips = tripGraph.edges.groupBy("src", "dst").agg(func.count("delay").alias("trips"))

5.图入度与出度相关应用

1) 入度出度对图进一步分析

通过入度和出度分析中转站:入度/出度≈1,中转站;入度/出度>1,出发站;入度/出度<1,抵达站。

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 入度出度; 对图进一步分析; 16-9

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 入度出度; 对图进一步分析; 16-10

# Calculate the inDeg (flights into the airport) and outDeg (flights leaving the airport) 
inDeg = tripGraph.inDegrees 
outDeg = tripGraph.outDegrees 

# Calculate the degreeRatio (inDeg/outDeg) 
degreeRatio = inDeg.join(outDeg, inDeg.id == outDeg.id).drop(outDeg.id).selectExpr("id", "double(inDegree)/double(outDegree) as degreeRatio").cache() 

# Join back to the `airports` DataFrame (instead of registering temp table as above) 
nonTransferAirports = degreeRatio.join(airports, degreeRatio.id == airports.IATA) \ 
    .selectExpr("id", "city", "degreeRatio").filter("degreeRatio < .9 or degreeRatio > 1.1") 

# List out the city airports which have abnormal degree ratios. 
display(nonTransferAirports)

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 入度出度; 对图进一步分析; 16-11

# Join back to the `airports` DataFrame (instead of registering temp table as above) 
transferAirports = degreeRatio.join(airports, degreeRatio.id == airports.IATA) \ 
    .selectExpr("id", "city", "degreeRatio").filter("degreeRatio between 0.9 and 1.1") 

# List out the top 10 transfer city airports 
display(transferAirports.orderBy("degreeRatio").limit(10))

2) 广度优先搜索

通过广度优先搜索,可以对图中的两个点进行关联查询:比如我们查询从旧金山到布法罗,中间有一次中转的航班。

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 广度优先搜索; 16-12

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 广度优先搜索; 16-13

# Example 1: Direct Seattle to San Francisco 
filteredPaths = tripGraph.bfs(fromExpr = "id = 'SEA'", toExpr = "id = 'SFO'", maxPathLength = 1) 
display(filteredPaths) 

# Example 2: Direct San Francisco and Buffalo 
filteredPaths = tripGraph.bfs(fromExpr = "id = 'SFO'", toExpr = "id = 'BUF'", maxPathLength = 1) 
display(filteredPaths) 

# Example 2a: Flying from San Francisco to Buffalo 
filteredPaths = tripGraph.bfs(fromExpr = "id = 'SFO'", toExpr = "id = 'BUF'", maxPathLength = 2) 
display(filteredPaths)

6.Pagerank算法与相关应用

可以通过pagerank算法进行机场排序:每个机场都会作为始发站和终点站很多次,可以通过pagerank算法对其重要度进行排序。

Spark GraphFrames; 基于图的数据分析挖掘; Pagerank算法应用; 重要度排序; 16-14

# Determining Airport ranking of importance using `pageRank` 
ranks = tripGraph.pageRank(resetProbability=0.15, maxIter=5) 
display(ranks.vertices.orderBy(ranks.vertices.pagerank.desc()).limit(20))

7.参考资料

【大数据技术与处理】推荐阅读

ShowMeAI 系列教程推荐

pyspark使用 graphframes创建和查询图的方法 使用graphframes创建图和查看图数据 阅读详情

相关推荐

Pyspark图计算实战:GraphFrames安装指南与核心算法解析

本文详细介绍了在PySpark环境中安装和配置GraphFrames图计算库的完整指南,并解析了其核心算法。文章重点解决了安装过程中的常见报错,如版本依赖和Jar包加载问题,并通过构建社交网络图、计算节点度数和实战BFS路径查找等示例,演示了GraphFrames的基础操作与高级应用,帮助开发者快速上手大数据图分析。

weixin_29091445的博客 520

Spark-GraphFrames入门使用示例

Spark-GraphFrames入门使用示例GraphFrames简介GraphFrames库的优势使用GraphFrames库使用图例创建GraphFrame实例视图和图操作GraphFrame提供四种视图:返回类型都是DataFrame通过GraphFrame提供的三个属性:degrees、inDegrees、 outDegrees可以获得顶点的度、入度和出度。模式发现加载和保存图图保存图加载 GraphFrames简介 GraphFrames是Apache Spark上的图处理框架。 Pregel

Klingx的博客 7263

偏最小二乘结构方程(PLS-SEM)_TomatoSCI分析日记

①模型整体拟合指标(Goodness-of-Fit, GOF),这个可以看做整体的R方了,上限是1;②指标载荷的具体值;然而,当数据中包含潜变量(即由多个观测指标组合而成的综合概念)时,贝叶斯结构方程不太适用。指标过少(1-2 个)会削弱潜变量的解释力,而指标过多可能增加噪声,影响模型稳定性。如果指标较多,可考虑进一步划分潜变量,但应确保每个指标有意义。掌握这两类方法后,在处理多变量、因果或路径分析研究时,可以根据数据特点与研究需求灵活选择。对于一般的多变量研究,这两类结构方程均为常用且有效的分析方案。

qq_44684643的博客 2012

Spark GraphFrames图计算

Spark GraphFrames图计算 1. 图的概念 在计算机科学中,图是一种重要的数据结构,它具有强大的表达能力,广泛应用于通信网络、搜索引擎、社交网络及自然语言处理等领域。GraphFrames 是关于图的计算框架,理解图的概念对学习和掌握 GraphFrames 的相关内容是非常重要的。由于数据结构的书籍都有对图的详细介绍,因此这里仅回顾一些重要概念,为讲解后面内容提供基础。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rKNFD3dG-1623235399503

Asll的学习小站 4526

PX4飞控与MAVROS实战:从零搭建无人机ROS通信环境(附常见报错解决)

本文详细介绍了如何从零搭建PX4飞控与ROS的通信环境,重点解析了MAVROS的安装、硬件连接、串口权限配置以及坐标系转换等核心步骤。针对GeographicLib数据下载失败、串口权限不足等常见报错提供了实用解决方案,并附有Offboard模式控制的代码示例,帮助开发者快速建立稳定的无人机ROS开发环境。

dapp9builder的博客 336

Glue)《Multi-omics single-cell data integration and regulatory inference with graph-linked embedding》

论文引入GLUE框架,通过知识引导图(guidance graph)显式建模跨层调控交互,桥接特征空间,实现准确、鲁棒、可扩展的整合。近年来,单细胞测序技术(如scATAC-seq用于染色质可及性、snmC-seq用于DNA甲基化、scRNA-seq用于转录组)允许同时探测多个组学层,揭示细胞异质性和调控机制。GLUE优于现有方法:桥接特征空间,避免信息丢失,支持多组学和调控推断。用于整合未配对的单细胞多组学数据(如scRNA-seq、scATAC-seq和snmC-seq),并同时进行调控交互推断。

m0_58293236的博客 1153

Spark图计算

spark graphx

weixin_43315211的博客 425

C++ getline函数详解与示例代码

每次调用函数时,会读取一行文本,并将其存储在字符串对象中。在循环中,我们检查读取到的文本是否为空行,如果是则跳出循环,否则输出读取到的文本。这个函数在处理用户输入、文件读取等场景中非常有用,希望能对您的C++编程有所帮助。函数是一个常用的字符串输入函数,可以用于从输入流中读取一行文本。首先,我们输出提示信息,要求用户输入一行文本。函数会等待用户输入,并将输入的文本存储在。函数从输入流中读取一行文本,并将其存储在字符串对象。这样,当用户输入制表符时,函数会停止读取。函数的用法,并提供相应的示例代码。

LogicGuruX的博客 829

PySpark GraphFrame图计算使用指南

PySpark GraphFrame图计算使用指南 GraphFrame是将Spark中的Graph算法统一到DataFrame接口的Graph操作接口,为Scala、Java和Python提供了统一的图处理API。 Graphframes是开源项目,源码工程如下:https://github.com/graphframes/graphframes 基本介绍 图结构是一个解决很多数据问题的直观的方法。无论是遍历社会网络,餐馆推荐,或者是飞行路径,都可以通过图结构的上下文来快速地理解所面临的问题: 顶点(Ve

扎尔其的博客 6463

Codex 100个真实案例 - 用AI画业务流程图Mermaid(产品经理都馋哭了)

还在用 Visio、ProcessOn 拖拖拽拽画流程图?改一个箭头方向就要调半天?本案例教你用 Codex 自然语言描述业务流程,AI 自动转为 Mermaid 代码,一秒生成专业流程图、时序图、甘特图、饼图!还能搭建在线渲染工具、批量导出 PNG/SVG、集成到文档系统。产品经理、架构师、项目经理都能用,从此画图再也不是体力活!

yueyeguzhuo的专栏 358

QT实现图片ROI区域的框选、移动、缩放(附完整源码)

QT实现图片ROI区域的框选、移动、缩放(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1198

GraphFrame相关的概念

1.图的概念 图(Graph)是一种数据结构。图型结构都是由顶点和边组成的,记作G=(V,E),其中V是顶点的非空有限集合,E是连接V中两个不同顶点的边的有限集合。 无向图:如果图中每条边都是没有方向的,称此图为无向图。 有向图:如果图中每条边都是有方向的,即每条边在图示时用箭头表示方向,称此图为有向图。 2.示例 这里V就是顶点(vertices),E就为边(edges) vertices: ("a", "Alice", 34), ("b", "Bob", 36), ("c", "Charlie"

peng的专栏 898

RK+linux教程:RK3588 RGA硬件加速在YOLOv5图像预处理中的深度应用教程

摘要: 本教程深入解析了RK3588芯片的RGA硬件加速器在YOLOv5图像预处理中的应用。通过专用硬件设计,RGA支持图像缩放、边界填充等核心操作,结合零拷贝技术显著提升处理效率。重点分析了LetterBox算法的RGA实现,包括参数计算、边界填充和性能优化,并与传统CPU处理对比,展示了RGA在高分辨率图像处理中的优势。教程还提供了统一的预处理接口设计,便于在OpenCV与RGA方案间灵活切换,为RK3588平台的深度学习部署提供实用优化方案。

LXY_LOVE36的博客 977

GraphFrames 使用教程

GraphFrames 是一个基于 Apache Spark 的数据框架(DataFrame)的图处理包。它允许用户通过利用 DataFrame API 和新的模式查找 API 来编写高度表达性的查询。GraphFrames 还受益于 Spark SQL 引擎中的 DataFrame 性能优化。 ## 项目快速启动 ### 安装与配置 首先,确保你已经安装了 Apache Spark。然后,

gitblog_00862的博客 770

STM32CubeMX | 38-使用硬件SPI驱动以太网模块(W5500)

本篇详细的记录了如何使用STM32CubeMX配置STM32L431RCT6的硬件SPI外设与以W5500通信,驱动以太网模块。 1. 准备工作 硬件准备 开发板 首先需要准备一个开发板,这里我准备的是STM32L4的开发板(BearPi): W5500以太网模块 这里我使用常见的以太网模块W5500: W5500官网 http://www.w5500.cn/ W5500中文手册 iEthernet W5500 Datasheet 软件准备 需要安装好Keil - MDK及芯片对应的包,以

Mculover666的博客(嵌入式) 7389

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

GraphX简介及GraphFrames测试

目录 概观 架构 存储 图的构造 GraphFrames 安装 测试 参考 概观 GraphX是Spark中用于图和图计算的组件,GraphX通过扩展Spark RDD引入了一个新的图抽象数据结构,一个将有效信息放入顶点和边的有向多重图。如同Spark的每一个模块一样,它们都有一个基于RDD的便于自己计算的抽象数据结构(如SQL的DataFrame,Str...

ssyshenn的博客 9631

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

GraphFrames路径边多值字段过滤

spark多值字段过滤

zcc_0015的专栏 1133

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

GraphFrames简介

Databricks公司宣布推出了Apache Spark上的图处理GraphFrames库,通过和UCB和MIT合作,他们基于DataFrames构建了一个图处理库,GraphFrames受益于DataFrames的高性能和可拓展性,也能提供一个统一的图处理API接口。支持的语言包括Scala、Java、Python。 什么是GraphFrames G...

weixin_34406086的博客 939

graphframes 安装_正确打开GraphFrames

GraphFrames,该类库是构建在Spark DataFrames之上,它既能利用DataFrame良好的扩展性和强大的性能,同时也为Scala、Java和Python提供了统一的图处理API。GraphX基于RDD API,不支持Python API; 但GraphFrame基于DataFrame,并且支持Python API。目前GraphFrames还未集成到Spark中,而是作为单独的...

weixin_32688333的博客 2508

基于pyspark GraphFrames实现图查询和计算

基于pyspark GraphFrames实现图查询和计算GraphFrames基本操作创建图展示顶点和边的数据统计顶点的入度和出度对顶点和边的数据进行分析搜索指定结构路径对搜索结果过滤多路径条件搜索匿名顶点和边设置路径不存在的条件有状态和无状态查询无状态查询有状态查询子图例一例二参考 GraphFrames基本操作 GraphFrames,该类库是构建在Spark DataFrames之上,它既...

李谦的博客 4948

PySpark 之 GraphFrames简介

GraphFrames可以快速轻松地分析以图形结构组织的数据,边和顶点由DataFrame表示,允许我们存储每个节点和边的任意数据。 简单示例如下: # encoding=utf-8 import os import pyspark from pyspark.sql import SparkSession from pyspark.sql import types as typ from p...

JingYi的专栏 4160

PySpark与GraphFrames的安装与使用

pandas快速升级到spark,简单丝滑,值得拥有。

小小明-代码实体的专栏 1万+

GraphFrames 项目常见问题解决方案

GraphFrames 是一个基于 Apache Spark 的 DataFrame 框架的图处理库。它允许用户通过 DataFrame API 编写高度表达性的图查询,并结合新的模式查找 API 来实现复杂的图分析任务。GraphFrames 充分利用了 Spark SQL 引擎的性能优化,使得图处理任务更加高效。 该项目主要使用 Scala 和 Python 进行开发和使用。Scala 是主

gitblog_00370的博客 807

【Spark】GraphFrame

Spark GraphFrame提供了一个声明性API,可用于大型图上的交互式查询和独立程序。GraphFrame API中的主要编程抽象是一个GraphFrame。 Spark GraphFrame支持分布式属性图的图计算。这里先介绍基本框架、概念,后面丰富此组件的其他知识。

赵光亮 的博客 1108
上一篇: 图解大数据 | Spark机器学习(下)—建模与超参调优
下一篇: 图解大数据技术:从入门到精通系列教程
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值