spark | 读数据

原创于 2017-02-16 23:36:02 发布 · 449 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #python #读数据

Python 专栏收录该内容

62 篇文章

订阅专栏

本文介绍如何使用PySpark处理CSV格式的数据文件，并详细解释了读取过程中的关键步骤，包括数据的分割与列的选取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为何要单独一个博文来记录读取数据呢？我觉得读数据很重要，涉及到不同格式的数据，各式各样的情况，故而记之。

注意：以python语言为工具

读csv格式的
本数据有３列

# -*- coding:utf-8 -*- 
from pyspark import SparkContext

sc = SparkContext("local[2]", "First Spark App")
# we take the raw data in CSV format and convert it into a set of records of the form (user, product, price)
data = sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

上面代码中核心代码是：

sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

第一个map是用于分割，第二个map用于读取列
采用lambda函数

继续更新中。。。