5、图数据处理与路径搜索算法详解

图数据处理与路径搜索算法详解

1. 图数据导入

在处理图数据时，为了简化操作，通常将图视为无向图，因为城市之间的大多数道路是双向的。不过，Spark 和 Neo4j 都基于有向图进行操作。以下是处理无向图的方法：
- Spark ：为 transport-relationships.csv 中的每一行创建两个关系，一个从 dst 到 src ，另一个从 src 到 dst 。
- Neo4j ：创建单个关系，在运行算法时忽略关系方向。

1.1 数据导入到 Apache Spark

首先，导入所需的包：

from pyspark.sql.types import *
from graphframes import *

然后，创建一个函数从示例 CSV 文件创建 GraphFrame ：

def create_transport_graph():
    node_fields = [
        StructField("id", StringType(), True),
        StructField("latitude", FloatType(), True),
        StructF