学而知之@的博客

前言：本文旨在简单介绍DS的概述和架构上的设计，对其安装等不做展开介绍。之前了解了一下，很多小伙伴也在使用该产品。我呢，也是到现在公司后才开始接触并使用，对其 “开发” 的还不够深，这里根据官方文档和项目中的实践和大家简单分享。欢迎大家批评指正，敬礼！一、简介DS是分布式易扩展的可视化工作流任务调度平台。Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。二、架构

一、前言：本集群基于Canal-Admin实现，并包括Canal-Admin部署流程。Canal-Admin由阿里官方提供，为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。...

大数据常用的架构随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务1、lambda架构基本介绍1.1、业务系统基本流程介绍1.2、lambda架构基本介绍lambda架构最早是由storm的创始人，Nathan Marz进行提出并描述了我们目前所了解的lambda架构，其实lamda架构先入

写在开头：难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。2.1 三台linux服务器环境准备1. 三台机器IP设置三台机器修改ip地址：# 对网库进行设置vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置BOOTPROTO="static"IPADDR=192.168.32.100NETMA

一、环境准备：1.1 VMWARE15.5简介与安装简介：简而言之，vmware是一个虚拟化工具，它可以安装在我们windows,然后在vmware里安装linux系统安装：安装步骤详见其他博主文章，这里咱就不赘述了。下面帮大家搬运了一篇，可以参照以下链接：VMWARE15.5安装步骤。关于软件下载和激活密钥，如有需求可关注文末公众号，联系我索要[此处有????]1.2 Centos7.x系列安装安装准备：准备好centos7.x系列的ISO结尾的镜像文件，本文档采用的是cent

一、又到了快快乐乐写博客的时间了，前两天许诺给小伙伴的脑图先双手奉上，这只是我汇总了一下目前大数据行业用到的主流技术，当然我也不是全都掌握了。但，了解每种框架的特性还是很有必要的。# 学习目标：提示：这里可以添加学习目标例如：一周掌握 Java 入门知识学习内容：提示：这里可以添加要学的内容例如：1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间：提示：这里可以添加计划学习的时间例如：1、 周一至周五晚上 7 点—晚上9

小白的数据仓库之旅欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行