自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (6)
  • 收藏
  • 关注

原创 一夜堆积 4 万条任务,ClickHouse 和我都快顶不住了

本次故障处理从任务异常排查、日志分析、分布式队列定位、代码复现到根因定位与修复,完成了一个完整的闭环。借助 ClickHouse 的系统表和日志,我们快速锁定问题根源,发现错误使用 parallelize 执行 DDL 导致分布式队列异常。这次问题提醒我们,使用 ClickHouse 分布式 DDL 需谨慎,合理配置 ON CLUSTER 并管理队列生命周期,避免任务堆积。ClickHouse 系统表的可观测性极大提升了排障效率。正如健身界的名言:“没有坏的动作,只有错误的姿势。

2025-07-16 09:34:44 734

原创 从90分钟到3分钟:Spark SQL多维分析性能优化实战记录

通过这次 Spark SQL 多维分析优化实践,我们成功将原本需要 1.5-2 小时的 Hive 报表任务优化到了 3.2 分钟,性能提升了近 30 倍!核心优化策略回顾数据预处理优化:对底表进行去重操作,大幅减少后续计算的数据量(我个人认为这一步是最重要的)聚合函数替换:将替换为,避免了大量count distinct触发的底层expandcube重构:通过程序化生成 CUBE 维度组合,将复杂的多维分析转换为高效的 UNION ALL 查询。

2025-07-04 21:28:44 846

原创 Spark AQE优化篇①:小文件治理

spark 工作实战总结,纯纯干货

2025-06-30 14:21:13 858

每日任务管理

一个日常每日任务的管理软件,可以帮助你每天更好的管理你的任务。

2013-01-15

Lucky Draw

学校校庆期间写的一个抽奖软件,操作简单,界面美观。用于评出三个等级的奖项,一等奖一名,二等奖三名,三等奖无名,并将获奖名单打印进行保存,一个很简单的小程序,还请各位多多指教。

2013-08-14

个人账号信息管理系统

一个用C#写的个人账号信息管理系统,界面简洁大方,简单易用,采用面向对象程序设计方式,初学者请多指教!

2013-04-17

账号管理系统

一个用C#写的一个简单的账号管理系统,初学者还请多多指教。

2013-04-04

Java音乐播放器

一个简单的Java音乐播放器,Ctrl+O打开本地文件,将MP3或wav的音频文件添加至列表双击即可播放。

2013-08-29

图书管理系统

一个图书管理系统软件,易于操作,界面美观大方,帮助你有效地查询图书信息。

2013-01-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除