使用Zeppelin编写Spark读取CSV文件，统计结果并存放Mysql

最新推荐文章于 2025-05-07 14:30:23 发布

Swt_BigData

最新推荐文章于 2025-05-07 14:30:23 发布

阅读量2.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/qq_32941881/article/details/83384963

本文介绍了如何使用Apache Zeppelin配合Spark读取CSV文件，处理数据（如将字段转换类型），并将处理后的数据存储到MySQL数据库中。涉及到的操作包括创建数据库表、数据类型转换、使用Spark SQL进行查询排序以及理解不同的Save Mode（Append、Overwrite、Ignore）。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在我们机器上编写一个CSV文件：

[hadoop@Master spark]$ vi data.csv

内容:大区，名称，充值金额
c,u9,168
c,u7,81
b,u2,124
c,u2,154
a,u5,75
b,u2,97
a,u4,162
c,u10,145
b,u3,25
d,u9,165
b,u8,19
d,u9,130
b,u10,183
d,u10,126
a,u3,114
d,u9,46
b,u4,111
d,u10,12
a,u4,47
b,u7,91
c,u6,71
a,u7,134
c,u1,151
d,u6,124
d,u3,115
a,u3,100
d,u5,137
c,u2,31
b,u5,103
d,u7,112
a,u10,81
a,u4,89
d,u3,20
c,u5,132
d,u2,79
b,u5,123
d,u2,61
d,u3,110
b,u6,132
d,u10,44
a,u6,124
a,u1,47
a,u2,195
a,u10,194
a,u6,85
c,u5,144
c,u10,90
b,u7,134
a,u4,141
d,u9,18
c,u9,137
c,u7,108
c,u7,199
b,u8,166
c,u10,157
b,u2,20
a,u5,58
c,u8,40

有了这些数据之后，我们需要去Mysql中创建数据库和表：

mysql> create database spark_demo;
Query OK, 1 row affected (0.07 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| abc                |
| egdb               |
| hive_metadata      |
| mysql              |
| performance_schema |
| spark_demo