创建dataframe的几种方式——读取Hive中的数据加载成DataFrame

最新推荐文章于 2021-07-27 19:50:30 发布

原创

最新推荐文章于 2021-07-27 19:50:30 发布 · 3.4k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何通过HiveContext将Hive中的数据加载为DataFrame，包括Java和Scala两种代码实现方式，适用于集群环境操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

读取Hive中的数据加载成DataFrame

HiveContext是SQLContext的子类，连接Hive建议使用HiveContext。
由于本地没有Hive环境，要提交到集群运行，提交命令：

./spark-submit 
--master spark://node1:7077,node2:7077 
--executor-cores 1 
--executor-memory 2G 
--total-executor-cores 1
--class com.bjsxt.sparksql.dataframe.CreateDFFromHive 
/root/test/HiveTest.jar

一、Java代码：

SparkConf conf = new SparkConf();
conf.setAppName("hive");
JavaSparkContext sc = new JavaSparkContext(conf);
//HiveContext是SQLContext的子类。
HiveContext hiveContext = new HiveContext(sc);
hiveContext.sql("USE spark");
hiveContext.sql("DROP TABLE IF EXISTS student_infos");
//在hive中创建student_infos表
hiveContext.sql("CREATE TABLE IF NOT EXISTS student_infos (name STRING,age INT) row format delimited fields terminated by '\t' ");
hiveContext.sql("load data local inpath '/root/test/student_infos' into table student_infos");

hi