Young2018的博客

0.数仓持续发布整体流程开发在特性分支完成开发，合并代码到各个环境的分支 feat -> sit/prd在 sit可以不设置权限控制，让开发自行合并，prd环境需要设置权限控制，需要进行code review后才能进行合并。经过代码审核后，审核人员在gitlab上点击merge request 按钮，随即触发gitlab webhook发出http请求，然后通过 airflow-gitlab-webhook 插件触发 代码同步的dag, 在该dag中使用git pull命令拉去代码，即可实

这篇文章对自己博客文章进行汇总，起一个提纲或者集合的作用。00 读书总结类大数据平台基础架构指南 读书收获《代码大全》读书体会盘点国内大数据书籍流派大数据经典书籍良心推荐01 Spark 3.x 系列02 Apache Airflow 系列03 数仓开发相关数仓开发Intellij IDEA配置数仓代码版本及提交管理规范04 元数据技术CDH6.x对应的Apache Atlas版本选择基于CDH6.x环境的Apache Atlas2...

使用Intellij IDEA作为数仓的开发工具。A. IDEA下载下载连接https://download.jetbrains.com/idea/ideaIU-2019.1.4.exe?_ga=2.158036537.2039258053.1578625833-1480439129.1578380047相关资料在云盘中，可以参考链接：https://pan.baidu.com/...

A. 代码分支结构GitLab使用时，基本遵循gitflow的工作量（目前因为历史原因，是非标准gitflow）目前的分支结构和权限如下： 分支 merge权限 push权限 feat特性分支 Maintainer用户+ Developer用户 Maintainer用户+ Developer用户 dev/...