spark学习笔记3(使用spark Sql进行离线数据分析项目数据的可视化、yarn运行、优化)

这篇博客介绍了如何使用Spark SQL进行离线数据分析,并结合Echarts实现数据可视化。首先,详细阐述了如何利用Echarts进行图表展示,包括从官网下载库、在HTML中引入、修改图形脚本以及在IDEA中创建Web项目来展示统计结果。接着,讨论了Spark在YARN上的运行,并提到了优化策略,如列式存储、分区裁剪、数据库批量插入和Spark参数调优等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

八、数据可视化

1. Echarts (百度)的使用

2. 前面统计的结果存放在 Mysql 中,需要使用 Echarts展示出来

3. 使用 Echarts (详见百度官网)

(1) 从官网下载 echarts.min.js

  (2) 在 html 的头部引入echarts.min.js

(3) 在官网复制需要的图形的脚本文件并进行相应的修改

4.使用 idea 创建 web 项目来进行之前的统计结果的展示

(1) 直接复制需求饼图的 option

(2) 修改 option 中的数据为 mysql 中的数据

(3) 开发 DAO层

需要注意:定义实体类的时候必须按照 option中的 data 属性来定义 name 和 value.

(4) 开发serverlet层

(a) 通过request对象获取前台传来的参数(day)

(b) 通过了 DAO对象查询topN的数据

(c)使用 response 的writer对象将数据库查询的结果以json的格式写回前台页面

5. 使用echars开发html页面

(1)使用ajax发出http请求,并拼接返回的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值