spark SQL学习（spark连接 mysql）

王树民 王树民 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.2k累计阅读 1.3k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
转载 最新推荐文章于 2026-08-15 18:33:13 发布 1.2k 阅读 AI 写同款· GEO 优化 ›
spark读写mysql spark连接mysql -- sparksql 连接mysql // spark连接mysql: val df = spark.read .format("jdbc") .option("url", "jdbc:mysql://152.159.0.74:3306/cluster1") .option("dbtable", "CHL1") .option("user", "root") .option("password", "d123123") .load() 阅读详情

 

spark连接mysql（打jar包方式）

package wujiadong_sparkSQL

import java.util.Properties

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Administrator on 2017/2/14.
  */
object JdbcOperation {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("JdbcOperation")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    val properties = new Properties()
    properties.put("user","feigu")
    properties.put("password","feigu")
    val url = "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
    val stud_scoreDF = sqlContext.read.jdbc(url,"stud_score",properties)
    stud_scoreDF.show()

  }

}

提交集群

hadoop@master:~/wujiadong$ spark-submit --driver-class-path /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar  --class wujiadong_sparkSQL.JdbcOperation  --executor-memory 500m --total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar 
 或者
hadoop@master:~/wujiadong$ spark-submit --jars /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar  --class wujiadong_sparkSQL.JdbcOperation  --executor-memory 500m --total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar

运行结果

hadoop@master:~/wujiadong$ spark-submit --driver-class-path /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar  --class wujiadong_sparkSQL.JdbcOperation  --executor-memory 500m --total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar
17/02/15 13:21:06 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/02/15 13:21:09 INFO Slf4jLogger: Slf4jLogger started
17/02/15 13:21:09 INFO Remoting: Starting remoting
17/02/15 13:21:09 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.1.131:40654]
17/02/15 13:21:13 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set.
+----------+--------+--------+--------+---------+---------+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+----------+--------+--------+--------+---------+---------+
|2015101000|   10101|    数学分析|        |       90|     null|
|2015101000|   10102|    高等代数|        |       88|     null|
|2015101000|   10103|    大学物理|        |       67|     null|
|2015101000|   10104|   计算机原理|        |       78|     null|
|2015101000|   10105|     电磁学|        |       89|     null|
|2015101001|   10101|    数学分析|        |       87|     null|
|2015101001|   10102|    高等代数|        |       78|     null|
|2015101001|   10103|    大学物理|        |       88|     null|
|2015101001|   10104|   计算机原理|        |       86|     null|
|2015101001|   10105|     电磁学|        |       91|     null|
|2015101002|   10101|    数学分析|        |       98|     null|
|2015101002|   10102|    高等代数|        |       97|     null|
|2015101002|   10103|    大学物理|        |       95|     null|
|2015101002|   10104|   计算机原理|        |       96|     null|
|2015101002|   10105|     电磁学|        |       90|     null|
|2015101003|   10101|    数学分析|        |       70|     null|
|2015101003|   10102|    高等代数|        |       87|     null|
|2015101003|   10103|    大学物理|        |       65|     null|
|2015101003|   10104|   计算机原理|        |       98|     null|
|2015101003|   10105|     电磁学|        |       76|     null|
+----------+--------+--------+--------+---------+---------+
only showing top 20 rows

17/02/15 13:21:24 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
17/02/15 13:21:24 INFO RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.

常见报错1

Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql://slave02:3306/testdb
报错原因是没有jdbc驱动

解决办法  
--driver-class-path xxx.jar 或者  
--jars xxx.jar

如果添加了命令和jar运行也不行,则用以下办法

在%JAVA_HOME%\jre\lib\ext下添加mysql-connector-java-5.1.12-bin.jar 问题解决

常见报错2

java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date

0000-00-00 ”在MySQL中是作为一个特殊值存在的，但是在Java中， java.sql.Date 会被视为 不合法的值，被JVM认为格式不正确。  

解决办法：在jdbc的url加上   zeroDateTimeBehavior参数

url = "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"

spark连接mysql（spark shell方式）

方式1


//import sqlContext.implicits._   //有时需要用到，需要时导入
scala> import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SQLContext

scala> val sqlContext = new SQLContext(sc)
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@6cd1ee

scala> val url ="jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
url: String = jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull

scala> val prop = new java.util.Properties
prop: java.util.Properties = {}

scala> prop.setProperty("user","feigu")
res3: Object = null

scala> prop.setProperty("password","feigu")
res4: Object = null

scala> val stud_scoreDF = sqlContext.read.jdbc(url,"stud_score",prop)
stud_scoreDF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]

scala> stud_scoreDF.show()
+----------+--------+--------+--------+---------+---------+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+----------+--------+--------+--------+---------+---------+
|2015101000|   10101|    数学分析|        |       90|     null|
|2015101000|   10102|    高等代数|        |       88|     null|
|2015101000|   10103|    大学物理|        |       67|     null|
|2015101000|   10104|   计算机原理|        |       78|     null|
|2015101000|   10105|     电磁学|        |       89|     null|
|2015101001|   10101|    数学分析|        |       87|     null|
|2015101001|   10102|    高等代数|        |       78|     null|
|2015101001|   10103|    大学物理|        |       88|     null|
|2015101001|   10104|   计算机原理|        |       86|     null|
|2015101001|   10105|     电磁学|        |       91|     null|
|2015101002|   10101|    数学分析|        |       98|     null|
|2015101002|   10102|    高等代数|        |       97|     null|
|2015101002|   10103|    大学物理|        |       95|     null|
|2015101002|   10104|   计算机原理|        |       96|     null|
|2015101002|   10105|     电磁学|        |       90|     null|
|2015101003|   10101|    数学分析|        |       70|     null|
|2015101003|   10102|    高等代数|        |       87|     null|
|2015101003|   10103|    大学物理|        |       65|     null|
|2015101003|   10104|   计算机原理|        |       98|     null|
|2015101003|   10105|     电磁学|        |       76|     null|
+----------+--------+--------+--------+---------+---------+
only showing top 20 rows

方式2

scala> import org.apache.spark.sql.SQLContext 
import org.apache.spark.sql.SQLContext

scala> val sqlContext = new SQLContext(sc)
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@351d726c

scala> import sqlContext.implicits._ 
import sqlContext.implicits._

scala> val url ="jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
url: String = jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull

scala> val table = "stud_score"
table: String = stud_score

scala> val reader = sqlContext.read.format("jdbc")
reader: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> val reader = sqlContext.read.format("jdbc")
reader: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option("url",url)
res0: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option("dbtable",table)
res4: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option("driver","com.mysql.jdbc.Driver")
res6: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option("user","feigu")
res7: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> reader.option("password","feigu")
res8: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918

scala> val DF = reader.load()
DF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]

scala> DF.show()
+----------+--------+--------+--------+---------+---------+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+----------+--------+--------+--------+---------+---------+
|2015101000|   10101|    数学分析|        |       90|     null|
|2015101000|   10102|    高等代数|        |       88|     null|
|2015101000|   10103|    大学物理|        |       67|     null|
|2015101000|   10104|   计算机原理|        |       78|     null|
|2015101000|   10105|     电磁学|        |       89|     null|
|2015101001|   10101|    数学分析|        |       87|     null|
|2015101001|   10102|    高等代数|        |       78|     null|
|2015101001|   10103|    大学物理|        |       88|     null|
|2015101001|   10104|   计算机原理|        |       86|     null|
|2015101001|   10105|     电磁学|        |       91|     null|
|2015101002|   10101|    数学分析|        |       98|     null|
|2015101002|   10102|    高等代数|        |       97|     null|
|2015101002|   10103|    大学物理|        |       95|     null|
|2015101002|   10104|   计算机原理|        |       96|     null|
|2015101002|   10105|     电磁学|        |       90|     null|
|2015101003|   10101|    数学分析|        |       70|     null|
|2015101003|   10102|    高等代数|        |       87|     null|
|2015101003|   10103|    大学物理|        |       65|     null|
|2015101003|   10104|   计算机原理|        |       98|     null|
|2015101003|   10105|     电磁学|        |       76|     null|
+----------+--------+--------+--------+---------+---------+
only showing top 20 rows

方式3

scala> import org.apache.spark.sql.SQLContext 
import org.apache.spark.sql.SQLContext

scala> val sqlContext = new SQLContext(sc)
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@fdf029a

scala> val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull","driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "testdb.stud_score","user" -> "feigu","password" -> "feigu")).load()
jdbcDF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]

scala> jdbcDF.show()
+----------+--------+--------+--------+---------+---------+
| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
+----------+--------+--------+--------+---------+---------+
|2015101000|   10101|    数学分析|        |       90|     null|
|2015101000|   10102|    高等代数|        |       88|     null|
|2015101000|   10103|    大学物理|        |       67|     null|
|2015101000|   10104|   计算机原理|        |       78|     null|
|2015101000|   10105|     电磁学|        |       89|     null|
|2015101001|   10101|    数学分析|        |       87|     null|
|2015101001|   10102|    高等代数|        |       78|     null|
|2015101001|   10103|    大学物理|        |       88|     null|
|2015101001|   10104|   计算机原理|        |       86|     null|
|2015101001|   10105|     电磁学|        |       91|     null|
|2015101002|   10101|    数学分析|        |       98|     null|
|2015101002|   10102|    高等代数|        |       97|     null|
|2015101002|   10103|    大学物理|        |       95|     null|
|2015101002|   10104|   计算机原理|        |       96|     null|
|2015101002|   10105|     电磁学|        |       90|     null|
|2015101003|   10101|    数学分析|        |       70|     null|
|2015101003|   10102|    高等代数|        |       87|     null|
|2015101003|   10103|    大学物理|        |       65|     null|
|2015101003|   10104|   计算机原理|        |       98|     null|
|2015101003|   10105|     电磁学|        |       76|     null|
+----------+--------+--------+--------+---------+---------+
only showing top 20 rows

//注册为一个表。这就可以直接进行select等操作样
scala> jdbcDF.registerTempTable("wu_stud_info")
scala> jdbcDF.sqlContext.sql("select sub_name from wu_stud_info").collect.foreach(println)
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[数学分析]
[高等代数]
[大学物理]
[计算机原理]
[电磁学]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]
[计算机软件与理论]
[计算机系统结构]
[操作系统]
[概率统计]
[汇编语言]
[数据结构]

分类: Spark

好文要顶 关注我 收藏该文  

邬家栋
关注 - 10
粉丝 - 7

+加关注

1

0

« 上一篇：spark SQL学习（spark连接hive）
» 下一篇：spark SQL学习（案例-统计每日uv）

posted @ 2017-03-07 20:15 邬家栋 阅读(16328) 评论(0) 编辑 收藏

收录于
opentsdb

当前文章被收录于：

opentsdb
36 篇文章 2 人学习
订阅专栏 查看详情
Spark基础学习笔记28：Spark SQL数据源 - JDBC Spark SQL读取和写入MySQL数据库表 阅读详情

相关推荐

Spark Sql 连接mysql

转载请务必注明原创地址为：http://dongkelun.com/2018/03/21/sparkMysql/ 1、基本概念和用法（摘自spark官方文档中文版） Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时，应该首选 JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样 Spark SQL操作轻松或便......

主要分享大数据相关的知识，如Spark、Hudi 1万+

spark使用

文章目录spark sql如果在eclipse上直接调试先看一下WordCount的代码action操作 #spark学习笔记 ##tips spark sql spark-sql --executor-memory 4G --total-executor-cores 20 如果在eclipse上直接调试 conf.setMaster("local");可以直接在本地调试 ;也可设置成本地模式 ...

安静的码农 619

spark连接mysql核心代码 java实现方式

spark连接mysql核心代码 java实现方式======================================================================

Spark连接MySQL的几种方式

一、spark连接mysql数据库的第一种方式： def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master("local").appName("createdataframefrommysql") .config("spark.sql.shuffle.p...

weixin_42821133的博客 3963

最新Docker GPU支持全解析：为什么nvidia-smi能用但PyTorch找不到CUDA？

本文深入解析了Docker容器中nvidia-smi命令可用但PyTorch无法调用CUDA的根本原因。关键在于默认配置仅暴露了GPU的utility管理能力，而CUDA计算所需的compute能力未被激活。通过正确设置NVIDIA_DRIVER_CAPABILITIES环境变量为compute,utility，并配合--gpus参数，即可解决此问题，确保AI训练等任务顺利进行。

convnet3designer的博客 243

MDK5 Debug调试方法总结

MDK5 Debug调试方法总结

m0_70748084的博客 2万+

【四】Spark SQL中SQLContext的使用(从json文件中加载数据)

SQLContext是Spark1.X中Spark SQL的入口点。 项目目录 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa...

Sid小杰的博客 4128

MBIST --- PATR2.Memorybist 测试流程

mem bist作为现在design设计中不可或缺的DFT设计内容，越发重要。本章节主要介绍mem bist的flow，如何在tessent中实现mbist以及tessent中的一些命令和mode。

sinat_27691203的博客 6010

spark+shell连接mysql_spark SQL学习（spark连接 mysql）

spark连接mysql(打jar包方式)package wujiadong_sparkSQLimport java.util.Propertiesimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}/*** Created by Administrator on 2017/2...

weixin_29677553的博客 865

华为OD新系统机试真题 - 准备生日礼物(Py/Java/C/C++/Js/Go)

华为OD机试新系统真题 4.8【准备生日礼物】，提供C语言、Java、C++、Python、Go、JavaScript源码实现，并提供完整思路讲解，以及在线OJ模拟做题。华为OD机试真题【准备生日礼物】

qq_45776114的博客 1485

ArcGIS与地理加权回归GWR【一】

因此，在实际问题研究中我们经常发现回归参数在不同地理位置上往往表现为不同，也就是说回归参数随地理位置变化，这时如果仍然采用全局空间回归模型（全局假设β是不会变得），得到的回归参数估计将是回归参数在整个研究区域内的平均值，如上所说某一个因素在ABC等不同的地理位置对房价的影响是不同的，假如采用全局空间回归模型，便忽略了数据的空间位置属性，只反映平均意义下因变量与自变量的相关关系，而不能有效反映回归关系的空间非平稳性的特征。当自变量为1个时，是一元线性回归，自变量为2个及以上时，称为多元线性回归。

JData_Engineer的博客 1376

spark第三篇sql

sparksql

Emperor_rock的专栏 1394

RK3568笔记十七：LVGL v8.2移植

若该文为原创文章，转载请注明原文出处。本文介绍嵌入式图形库移植到Linux开发板ATK-RK3568上的步骤。

4236

2025.4.1学习笔记

更新软件源并安装# 服务管理命令sudo systemctl start mysql # 启动服务sudo systemctl enable mysql # 设置开机自启sudo systemctl status mysql # 查看服务状态。

Gx_2647664843的博客 609

A*寻路算法的最简单通俗讲解

为什么我的眼里常含泪水？因为我有一个算法不会。为了节约点眼泪，今天我们就来介绍著名的A*寻路算法（或简称A*算法）。 Peter Hart, Nils Nilsson 和 Bertram Raphael 在1968年首次提出了著名的A*算法。A*算法其实是Dijkstra最短路径算法的一种扩展。不一样的是，在A*算法中我们需要使用Heuristics 来导引搜索过程，以期达到更好的表现。 ...

白马负金羁 2万+

S7-1200中OB100和OB20中断使用方法及示例程序说明（图文）

S7-1200中OB100和OB20中断使用方法及示例程序说明（图文）

Robot_PLC_HMI_Automation 8586

（超详细）全国职业院校技能大赛-GZ033大数据应用开发-离散数据处理-子任务3指标计算_大数据技术应用开发国赛(2)

import org.apache.spark.sql.{SparkSession, functions} // 导入SparkSession和functions类。import org.apache.spark.sql.expressions.Window // 导入Window类用于分组排序。import org.apache.spark.SparkConf // 导入SparkConf类。// 连接到 MySQL 数据库。// 连接到 MySQL 数据库。// 连接到 Hive 数据库。

2401_84166896的博客 964

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

pyspark链接sql

本博客基于林子雨老师《Spark 编程基础 Python 版》第5章 Spark SQL并结合刘君老师大数据课程进行编写。

return_smile的博客 341

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目，保存在这里方便以后使用直接下载

头歌Scala-Spark SQL 多数据源操作（Scala）（含通关代码）

打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完善程序。读取本地文件 file:///data/bigfiles/demo.json，根据年龄字段 age 设置降序，输出结果。demo.json 文件内容如下所示：开始任务前，注意先启动 Hadoop 与 Hive 环境：start-all.sh、nohup hive --service metastore &测试说明平台将对你编写的代码进行评测，如果与预期结果一致，则通关，否则测试失败。

coin_sun的博客 1035

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册，内含HL7和ASTM)

计算机必学---SQL

SQL（Structured Query Language，结构化查询语言）是一种专门用来和关系型数据库"对话"的编程语言。你用自然语言问人问题，用 SQL 问数据库问题。

belong_my_offer的博客 225

大数据要学javaweb吗_学习大数据需要学习javaee的内容吗？

你好，成为一名大数据开发工程师，你需要具备的技能比较多，具体的，可以参看下面的这些点。Java大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要...

weixin_39943442的博客 368

用Docker快速搭建Hive+MySQL学习环境（含持久化配置）

本文详细介绍了如何使用Docker快速搭建Hive+MySQL学习环境，包含持久化配置和实用技巧。通过Docker Compose编排，10分钟内即可完成部署，解决传统安装中的版本冲突和依赖问题，特别适合团队开发和测试环境搭建。

weixin_29050513的博客 229

Spark使用Java、Scala 读取mysql、json、csv数据以及写入操作

Spark使用Java读取mysql数据和保存数据到mysql一、pom.xml二、spark代码2.1 Java方式2.2 Scala方式三、写入数据到mysql中部分博文原文信息 一、pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"...

爱是与世界平行 5937
上一篇： spark SQL学习（spark连接hive）
下一篇： spark SQL学习（案例-统计每日销售）
点赞 0
评论 0
书签 书签 0
王树民
王树民
博客等级 码龄10年 912粉丝 560原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值