spark学习-JavaRDD注册成表然后用SparkSQL查询

最新推荐文章于 2025-06-22 16:18:01 发布

九师兄

最新推荐文章于 2025-06-22 16:18:01 发布

阅读量2.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据-spark 文章标签： spark javaRDD sparkSQL

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/77428659

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文通过实例展示了如何将JavaRDD注册为表并使用SparkSQL进行查询。作者指出，在大规模数据处理时，直接操作JavaRDD可能效率低下，并探讨了将JavaRDD转换为DataFrame的原因。在代码示例中，作者发现一个关键细节，即数据类型差异（String与Row），这导致了程序的运行错误，强调了理解数据结构细节的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

1.先看正确的例子

package com.lcc.spark.rdd.test;

import java.io.Serializable;

public class Person implements Serializable {
	/**
	 * 
	 */
	private static final long serialVersionUID = 1L;
	private String id;
	private String name;
	public String getId() {
		return id;
	}
	public void setId(String id) {
		this.id = id;
	}
	public String getName() {
		return name;
	}
	public void setName(String name) {
		this.name = name;
	}

}

package com.lcc.spark.rdd.test;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.ap

了解本专栏