- 博客(8)
- 收藏
- 关注
RSS订阅转载 Spark性能优化指南——高级篇
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。
2023-03-14 14:31:01
811
原创 dataset创建单轴散点图
由于使用echarts作图时，我很喜欢用dataset作为数据源，但是官方案例中，又没有给出相关示例，于是，在翻阅官方文档相关案例之后，结合官方文档使用dataset的示例，成功使用dataset绘制单轴散点图！
2023-03-07 10:25:58
266
1
原创 JS获取当前时间并格式化“yyyy-MM-dd HH:mm:ss“
【代码】JS获取当前时间并格式化"yyyy-MM-dd HH:mm:ss"
2023-03-03 09:37:56
3684
1
原创 Vue脚手架报错ERROR command failed: npm install --loglevel error --legacy-peer-dep Vue脚手架报错
1.把当前的VsCode软件关闭，用管理员模式运行VsCode软件。
2023-02-24 08:52:50
301
1
原创 Maven打包 关于“There aretest failures”的错误解决
Maven打包 关于“There aretest failures”的错误解决。
2022-12-21 08:47:02
1243
2022大数据技术与应用赛项0720更新-评分标准-任务-样例数据
2022-12-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人