Spark SQL的简单java api应用

大数据之Spark教程 Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上,它扩展了 MapReduce 模式,有效地使用更多类型的计算,其中包括交互式查询和流处理。这是一个简单的Spark教程,介绍了Spark核心编程的基础知识。   工业公司广泛的使用 Hadoop 来分析他们的数据集。其原因是,Hadoop框架是基于简单的编程模型(MapReduce),并且它使... 阅读详情

1、创建IDEA的Maven工程


2、引入依赖

    

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.motoon</groupId>
    <artifactId>SparkSql_Demo</artifactId>
    <version>1.0</version>

    <properties>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target>
        <encoding>UTF-8</encoding>
        <scala.version>2.10.6</scala.version>
        <scala.compat.version>2.10</scala.compat.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.10</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.2</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.39</version>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-make:transitive</arg>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.18.1</version>
                <configuration>
                    <useFile>false</useFile>
                    <disableXmlReport>true</disableXmlReport>
                    <includes>
                        <include>**/*Test.*</include>
                        <include>**/*Suite.*</include>
                    </includes>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>


</project>

3、编写测试类

     

package com.motoon.sparksql


import org.apache.spark.sql.types.{DataTypes, StructType}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Row, SQLContext, functions}

object TestSparkSql {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("TestSparkSql").setMaster("local");
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    val linesRDD = sc.textFile("hdfs://192.168.61.138:9000/test/people.txt")
    val rowRDD = linesRDD.map(line => {
      val splits = line.split(" ")
      Row(splits(0).trim.toInt,splits(1).trim,splits(2).trim.toInt)
    })
    val structType = StructType(Array(
      DataTypes.createStructField("id",DataTypes.IntegerType,true),
      DataTypes.createStructField("name",DataTypes.StringType,true),
      DataTypes.createStructField("age",DataTypes.IntegerType,true)
    ))

    val df = sqlContext.createDataFrame(rowRDD,structType)
    df.registerTempTable("people")
    df.show()
    /**
      * 接下来对df中的数据进行查询
      * 第一个查询年龄的最大值,平均值
      * height的总身高
      * */
    sqlContext.sql("select * from people").show()
    sqlContext.sql("select max(age) from people").show()
    sc.stop()
  }
}
   


Apache Spark:Java在Spark中的应用 RDD(Resilient Distributed Dataset)是Apache Spark的核心数据结构,它是一个不可变的、分布式的数据集合。RDD提供了容错性,数据并行性和可扩展性,是Spark处理大规模数据集的基础。在Java中,RDD被表示为类。Spark SQL是Apache Spark框架中的一个模块,它提供了用于处理结构化和半结构化数据的编程接口。 阅读详情

相关推荐

16 | Spark SQL 的 UDF(用户自定义函数)

UDF允许您定义自己的函数,以便在DataFrame或SQL查询中使用。在本教程中,我们将演示如何创建一个UDF,该UDF将字符串的长度作为输入,并返回该字符串的长度作为输出。UDF允许您定义自己的函数,并将其应用于Spark DataFrame或Dataset。:在DataFrame操作或SQL查询中,您可以使用注册的UDF函数。方法将UDF函数注册到SparkSession中,以便后续可以在SQL查询或DataFrame操作中使用。:您需要创建一个包含要应用UDF的数据的DataFrame。

微信号:RunsenLiu 1506

Java API在Spark分布式应用开发中的深度实践

Apache Spark作为一个强大的大数据处理框架,能够快速处理PB级别的数据。本章将介绍Spark如何高效处理大规模数据,并探讨其背后的原理。RDD是Spark的基本抽象之一,它是一个不可变的分布式数据集,可以在一个集群中并行操作。创建RDD后,可以对其进行一系列的转换操作(如映射、过滤、归约等),并使用行动操作(如计数、收集、保存等)触发实际的计算。RDD的优势在于其弹性特性,即当某个分区的数据丢失时,它能够自动地重新计算该分区的数据。

weixin_35516273的博客 1036

Spark基础与Java Api介绍

原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3832405.html 一、Spark简介   1、什么是Spark     发源于AMPLab实验室的分布式内存计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足。     相比于MapReduce,Spark能充分利用内存资源提高计算效率。   2、Spark计算...

weixin_30608131的博客 1808

Spark-Parquet数据处理实战课程

本文还有配套的精品资源,点击获取 简介:Apache Spark的 Spark-Parquet 框架专注于将TSV数据转换为列式存储的Parquet文件格式,提升大数据分析的读写性能和空间效率。该项目介绍了Spark SQL的数据处理能力,包括使用DataFrame/Dataset API进行数据操作,以及实现从TSV到Parquet格式转换的详细步骤。此外,...

weixin_42230607的博客 1332

SparkSQL的jdbc操作及java的api操作

关于SparkSQL的jdbc操作及java的api操作的Idea maven工程代码。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

使用 Spark Java 框架构建 API

Spark 框架是一个快速开发的 Web 框架,其灵感来自 Ruby 的 Sinatra 框架,并围绕 Java 8 Lambda 表达式理念构建,使其比使用其他 Java 框架编写的大多数应用程序更简洁。我们将把控制器逻辑放在 REST API 路由的 lambda 表达式中,我们将在本教程后面看到。让我们创建一个简单的 Web 服务,它有两条 GET 请求路由并返回“Hello”消息作为响应。在此示例中,数据作为 JSON 对象在 POST 请求的原始正文中传递,其属性名称与要编辑的。

allway2的博客 1916

spark 2.0 javaAPI

spark的javaAPI开发文档,只不过是英文版的。没有做翻译工作。希望对下载人员有帮助。

Spark—通过Java、Scala API实现WordCount案例的基本操作

通过WordCount案例,体会编写spark程序时用scala语言相比较于java,作为原生语言的优越性。

piaow_的博客 1122

GNSS - PPP软件 - GAMP 在VS2019/2022下完成调试、跑通程序(超详细!)

WIN32;_DEBUG;_CONSOLE;O_WARNINGS;ENAGLO;ENACMP;ENAGAL;ENAQZS;NFREQ=3。

qq_43381998的博客 8255

ADS学习笔记 1. 功率放大器设计

基于ADS2023 update2的学习笔记1.功率放大器设计

u014087103的博客 1万+

Spark等大数据处理框架的Java API

Apache Spark 提供了丰富的 Java API,用于处理大规模数据集。Spark Core:提供了基础的分布式计算能力,包括任务调度、内存管理、容错恢复等。Spark SQL:用于处理结构化数据,支持 SQL 查询和 DataFrame API。:用于处理实时流数据。MLlib:用于机器学习算法的库。GraphX:用于图计算。通过使用这些 Java API,可以有效地管理和处理大规模数据集。这些组件相互配合,可以实现复杂的大数据处理任务。

yuehua00的专栏 2006

AMBA-CHI协议详解(五)

 每个事务由许多不同的packets组成,这些数据包通过互连(interconnect)传输。packets内的一组ID域段用于提供有关包的附加信息。

Crazzy_M的博客 1968

Spark SQL

非结构化数据与结构化数据 Spark SQL是spark用来处理结构化数据的Apache Spark组件 : 与最基本的Spark API——RDD API不同的是Spark SQL接口提供了更多关于数据结构和正在执行的计算的相关信息 在Spark内部,Spark可以使用这些信息来对运算进行额外的优化 Spark SQL的特点 : 1.Spark SQL使用的数据来源 Spark SQL可以使用...

ghf183184的博客 350

学Simulink--进阶电机控制场景实例:基于Simulink的异步电机定子磁链定向控制(SFOC)仿真

本文详细介绍了基于Simulink的异步电机定子磁链定向控制(SFOC)仿真实现方法。主要内容包括:1) SFOC原理分析,突出其对转子参数不敏感的优势;2) 工业风机驱动系统的完整建模流程,涵盖主电路搭建、坐标变换、磁链观测器设计等关键步骤;3) 核心模块代码实现,包括电压模型磁链观测器和双闭环PI控制器;4) 仿真结果验证了SFOC在转速响应(0.2s)、转矩恢复(0.15s)和参数鲁棒性(转子电阻变化50%时转速波动<2%)方面的优异性能。本文为工程师提供了实用的SFOC系统开发指南,特别适用于

amy_mhd的博客 117

YOLOv8改进 | Conv篇 | 轻量级下采样方法ContextGuided(大幅度涨点)

ContextGuided通过创新的局部-全局协同机制,解决了传统下采样方法中细节丢失与上下文缺失的核心痛点。实验证明其在YOLOv8上可实现最高2.6%的mAP提升,且计算开销增加不足5%。这种即插即用的设计为实时目标检测系统提供了新的优化方向。创新启示:轻量化不代表简单裁剪,智能信息融合才是未来方向!下一步探索与Transformer结合构建混合架构多尺度上下文融合机制3D点云中的扩展应用资源获取完整训练代码:[GitHub链接]预训练模型:[Google Drive链接]讨论话题。

QQ_778132974的博客 291

Spark SQL【Java API】解析使用

本文系统梳理了Spark SQL的核心架构与Java API开发范式,深入对比DataFrame与DataSet的异同,详解Spark on Hive与Hive on Spark两种集成模式,并通过完整的Java代码示例演示从SparkSession创建到数据读写的完整开发流程。帮助Java开发者快速掌握Spark SQL结构化数据处理能力,实现从Hive生态到Spark生态的平滑迁移。

记录学习点滴,分享实战干货,一起奔赴技术之路 563

【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践

在人工智能的浪潮中,大型语言模型(LLMs)正逐渐成为研究和应用的热点。它们在自然语言处理(NLP)的各个领域,如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型,作为该领域的佼佼者,不仅因其庞大的参数量和强大的表示能力受到关注,更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调,以期达到提升模型在特定任务上的表现。

寻道AI,探索AI无限可能! 2万+

实际使用java来编写和使用spark的几个例子

一、使用Java语言开发sparkstreaming完成WordCount package Test; import org.apache.spark.SparkConf; import org.apache.spark.streaming.Durations; import org.apache.spark.streaming.api.java.JavaPairDStream; import org.apache.spark.streaming.api.java.JavaReceiverInputDSt

斯特凡今天也很帅的博客 2914

PCL 计算点云法向量并显示【2026最新版】

PCL计算法向量并显示,用OMP进行计算加速以及法线定向的深层次理解、操作。博客长期更新,本文最近更新时间为:2026年1月28日。

点云侠的博客 32万+

第一章 EB安装

1.DemoWorkspace 是基于EB当前组件配置下的例程,包含了启动文件和中断服务函数以及组件demo。2.Mclsar 下存放的是EB的插件包和静态MCAL的驱动文件。

舊梦的博客 1965

Spark SQL里concat_ws和collect_set的作用

concat_ws: 用指定的字符连接字符串 例如: 连接字符串: concat_ws("_", field1, field2),输出结果将会是:“field1_field2”。 数组元素连接: concat_ws("_", [a,b,c]),输出结果将会是:"a_b_c"。 collect_set: 把聚合的数据组合成一个数组,一般搭配group by 使用。 例如有下表T_cou...

weixin_30906185的博客 2429

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

spark SQL 读取mysql中的数据日志分析

"F:\Program Files\Java\jdk1.7.0_15\bin\java" -Didea.launcher.port=7539 "-Didea.launcher.bin.path=F:\Program Files (x86)\JetBrains\IntelliJIDEASpark\bin" -Dfile.encoding=UTF-8 -classpath "F:\Program Fi

知识的力量 1353

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

spark python 开发环境_[老汤]Spark 2.x实战应用系列之Spark开发环境搭建(windows)

本门课程整理了scala/java/python开发spark应用的本地开发环境的搭建,轻而易举的用各种工具搭建spark开发环境更多的课程可以在51CTO学院中搜索"老汤"播放的时候选择“高清”模式,效果会更好-------------------------------------------------------------------------------------------Spa...

weixin_40003283的博客 186

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Learning Spark笔记1-Spark介绍

Learning Spark 三个优点 容易使用-你可以使用你的笔记本开发应用程序,使用高级API让你专注于你的计算内容上。 快速的- 通用引擎-让你组合多种类型的计算(例如,SQL查询、文本处理、机器学习) Apache Spark Spark被设计为快速的通用的机群计算平台 速度方面,Spark扩展Mapreduce支持更多的计算类型,包括

zhuziying99的专栏 467

使用Java编写并运行Spark应用程序

我们首先提出这样一个简单的需求: 现在要分析某网站的访问日志信息,统计来自不同IP的用户访问的次数,从而通过Geo信息来获得来访用户所在国家地区分布状况。这里我拿我网站的日志记录行示例,如下所示: 1 121.205.198.92 - - [21/Feb/2014:00:00:07 +0800] "GET /archives/417.html HTTP/1

GarfieldEr007的专栏 863
上一篇: Storm的WordCount实例
下一篇: Spark SQL的jdbc操作
songrj1
博客等级 码龄9年 19粉丝 67原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值