DataFrame，将RDD转换成DataFrame

原创于 2018-08-17 16:03:47 发布 · 321 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

80 篇文章

订阅专栏

本文介绍如何使用RDD创建DataFrame。首先创建RDD<Row>，然后定义数据结构元数据，最后通过SQLContext创建DataFrame。文章详细展示了每一步的实现过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DataFrame相对于一张表

第一步创建一个普通的RDD，但是必须将其转换为RDD<Row>的这种格式

JavaRDD<Row> rows = lines.map(new Function<String, Row>() {
    public Row call(String s) throws Exception {
        return RowFactory.create(s.split(",")[0],s.split(",")[1]);
    }
});

//第二步动态构造元数据
List<StructField> fields = new ArrayList<StructField>();
fields.add(DataTypes.createStructField("id",DataTypes.StringType,true));
fields.add(DataTypes.createStructField("name",DataTypes.StringType,true));

StructType structType = DataTypes.createStructType(fields);
DataFrame df = sqlContext.createDataFrame(rows,structType);

将dataFrame转换为rdd

df.javaRDD()