DAurora的博客

本文系统介绍了HSQL优化和数据倾斜处理的解决方案。HSQL优化从减少IO、关联优化和执行优化三方面展开，包括列裁剪、分区裁剪、大小表关联策略、并行执行等方法。数据倾斜部分分析了key分布不均、业务特性、SQL语句等原因，并针对group by、count distinct、join等场景提出具体解决方案，如两阶段聚合、map join转换、空值处理等。最后对比了Hive内部表和外部表的区别，包括存储位置、数据管理方式等核心差异。全文提供了大量实用SQL示例和参数

使用上面创建的部署用户(dolphinscheduler)运行以下命令完成部署,部署后的运行日志将存放在 logs 文件夹内(各个server 服务节点下都有 logs 文件夹,大家可以到其中找到对应的 server 报错日志文件,例如实时查看 alert-server的 logs 文件命令行:’tail -400f dolphinscheduler/alert-server/logs/alert-server-pt23amlupz5x.out’)完成基础环境的准备后,需要根据你的机器环境修改配置文件。