- 博客(4)
- 收藏
- 关注
RSS订阅原创 读书笔记：大数据平台-数据仓库模型
概述数据仓库建议方法论的核心：从业务架构到模型设计，从数据研发到数据服务，做到数据可管理、可追溯、可规避重复建设。数据模型的设计主要以维度建模理论为基础，基于维度数据模型总线架构，构建一致性的维度和事实。模型分层数据模型分三层操作数据层（ODS，Operational Data Store ）应用数据层（ADS， Application Data Store）公共维度模型层（CDM...
2019-04-15 20:56:23
547
原创 读书笔记：大数据平台-流处理架构
大数据平台-流处理架构简介数据采集数据处理数据存储数据服务简介流式计算需要各子系统间相互依赖形成一条处理链路，子系统作如下划分数据采集数据源一般来自于各个业务的日志服务器，这些日志被实时采集到消息间件中，被下游实时订阅数据处理数据被采集到中间件后，下游服务订阅数据，并拉取到流式计算系统进行加工处理，通过流式计算引擎计算处理数据存储数据被加工处理后，会以增量形式（不间断地）写到在线...
2019-04-14 16:39:00
573
转载 log4j日志的配置
############################### 日志记录器定义 ################################ 日志输出级别 OFF、DEBUG、INFO、WARN、ERRORlog4j.rootLogger = DEBUG,consoleAppender,debug,info,warn,error#############################...
2019-04-09 21:02:02
150
原创 Spark2.x Incompatible Jackson version: 2.7.9-4
在使用spark2.X，同时用到kafka开发时，可能会存在Incompatible Jackson version: 2.7.9-4不兼容情况解决办法：1、在kafka节点排除对Jackson 的引用 ； <dependency> <groupId>org.apache.spark</groupId> ...
2019-04-09 20:34:36
1239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人