
大数据
文章平均质量分 78
xuankuxiaoyao
做一个欢乐的社畜打工人
展开
-
flink1.12部署在yarn上
环境介绍 CDH 6.2 flink1.12.1 flink部署到yarn上 参考:https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/yarn.html Starting a Flink Session on YARN Once you’ve made sure that theHADOOP_CLASSPATHenvironment variable...原创 2021-03-09 08:21:53 · 1317 阅读 · 1 评论 -
中台学习
目录 中台分类 理想和现实的中台对比: 中台和平台、微服务、中间件的区别 理想VS现实中的中台实施效果对比 数据中台起源: 数据中台理解: 数据中台传奇人物 参考资料: 中台分类 业务中台: 数据中台: 技术中台: 算法中台: 理想和现实的中台对比: 中台的最大价值就是避免重复制造轮子,当中台中的业务被复用的项目越多,则中台的价值越大,反之亦然。 中台和平台、微服务、中间件的区别 中台就是将业务里面共性的部分抽取出来,形成业务服务; 平台是与业务无关的..原创 2021-01-25 10:58:10 · 572 阅读 · 1 评论 -
大数据方面的核心技术
目录 分类1 一、大数据采集 二、大数据预处理 三、大数据存储 四、大数据分析挖掘 分类2 一、数据采集与预处理 二、数据存储 三、数据清洗 四、数据查询分析 五、数据可视化 分类1 简单来说,从大数据的生命周期来看,无外乎四个方面:大数据采集、大数据预处理、大数据存储、大数据分析,共同组成了大数据生命周期里最核心的技术,下面分开来说: 一、大数据采集 大数据采集,即对各种来源的结构化和非结构化海量数据,所进行的采集。 数据库采集:流行的有Sqoop和ETL,传统的关.原创 2021-01-23 17:31:39 · 1962 阅读 · 1 评论