sparksql 结果写入txt文件，支持多个字段

最新推荐文章于 2022-03-16 16:58:41 发布

原创最新推荐文章于 2022-03-16 16:58:41 发布 · 5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#sparksql

spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍使用Spark SQL进行数据处理的方法，包括RDD类型转换、多字段写入TXT文件、自定义分隔符及Lambda表达式的应用。通过具体示例展示如何实现数据的联接、显示、转换和保存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下列函数完成功能：

1，rdd类型转换：Row2String 2，结果支持多个字段写入txt ：coalesce(1) 3，分隔符由默认的，换成| 4，map中支持传入接口和lambda表达式


private static void joinCompute() {
    String sql="select s.sid,s.sname,s.snum,c.cname,c.teachername from student s,course c where s.cid=c.cid";
    Dataset<Row> s_c_join = spark.sql(sql);
    s_c_join.show();
    s_c_join.coalesce(1).toJavaRDD().map(new Function<Row, String>() {
        @Override
        public String call(Row row) throws Exception {
            return row.toString();
        }
    }).map(line ->line.replace(",","|")).saveAsTextFile("C:\\Users\\Administrator\\Desktop\\tmp\\s_c_join3.txt");