secretWHD的博客

日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而这个问题的发现可能会经历一个较长的周期（尤其是离线场景），往往是业务方通过上层数据报表发现数据异常后 push 数据方去定位问题（对于一个较冷的报表，这个周期可能会更长）。同时，由于数据加工链路较长需要借助数据的血缘关系逐个任务排查，也会导致问题的定位难度增大，严重影响开发人员的工作效率。更有甚者，如果数据问题没有被及时发现，可能导致业务方作出

自行下载DS二进制安装包以下步骤只需在一台节点上执行，一键部署后，会将程序分发到集群中，是不是很贴心1. 解压将下载的安装包拷贝到Linux内mkdir -p /opt/dolphinscheduler \ && tar -zxvf /root/dolphinscheduler-1.3.8-bin.tar.gz -C /opt/dolphinscheduler \ && cd /opt/dolphinscheduler \ && mv

前言即使官方给了装教程，但随着版本的更新难免有点差异，安装并不能一步到位。所有在这我将根据自己的实际情况，参照官方教程做了些步骤上的修改和给新用户做点提示。 1. 安装请按步骤走完，启动成功后，在自行随意探索捯饬 2. java环境不能少，ZK必备，DS全程在IDEA上就能完成前后端的启动，前端无需在使用VSCode 3. 启动流程 zkServer.cmd -> MasterServer -> WorkerServer ...