
大数据实战
文章平均质量分 70
打造0-1数仓架构
叁木-Neil
这个作者很懒,什么都没留下…
展开
-
大数据实战之ETL&ELT
众所周知,ETL: Extract(抽取)、Transform(转换)、Load(加载) ;那ELT,还有这种简写???相信这是大部分读者看到的第一反应(这也是笔者听到这个名词时的第一反应,并且内心OS:现在数仓人都这么具有创新意识吗?换个顺序就造就一个新名词,这把必不可能让你装到)。原创 2021-08-11 23:29:32 · 1105 阅读 · 0 评论 -
安装DataX
安装DataX一、概述1.1 什么是DataX1.2 DataX的设计1.3 架构设计1.4 运行原理二、入门2.1 一些官方地址2.2 安装一、概述1.1 什么是DataXDataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能 。1.2 DataX的设计为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为原创 2021-07-31 14:25:01 · 343 阅读 · 0 评论 -
大数据实战之业务分析
大数据实战之业务分析一、用户业务二、店铺业务三、商品业务四、订单业务五、最终5.1 业务线表详解5.1.1 收藏商品5.1.2 加入购物车5.1.3 领用优惠券5.1.4 下单5.1.5 支付5.1.6 退单5.1.7 退款5.1.8 评价5.2 后台管理表详解5.2.1 商品5.2.2 活动5.2.3 优惠券一、用户业务二、店铺业务三、商品业务四、订单业务五、最终一个完整的电商涉及到的表和业务线太多了,我有梳理过,后来真的是太多了!!!于是参考了一些网上的资料梳理出了以下的表和关联关系原创 2021-07-18 22:42:58 · 617 阅读 · 2 评论 -
cdh6.3.2安装kafka
cdh6.3.2安装kafka一、kafka安装一般来说建议如果允许不要跟hadoop平台安装同一个集群中,会占IO,这里只是本地跑所以就怎么方便怎么来了!可以选择在线安装和离线包安装,在线安装下载时间较长,离线包安装时间较短。这里我们为了节省时间,选择离线安装。一、kafka安装1)添加服务2)选择kafka3)选择kafka Broker安装的主机4)修改配置5)等待安装...原创 2021-07-10 01:16:04 · 1578 阅读 · 2 评论 -
安装HDFS的HA后配置hue与hive
安装HDFS的HA后配置hue与hive一、配置hue1.1 安装HdfsFS1.2 配置hue二、配置hive在配置完hdfs的HA后,提示需要重新配置如下内容:将 Hue 服务 Hue 的 HDFS Web 界面角色 配置为 HTTPFS 角色,而非 NameNode。 Documentation对于每个 Hive 服务 Hive,停止 Hive 服务,将 Hive Metastore 数据库备份到永久性存储中,运行服务命令"更新 Hive Metastore NameNodes",然后重启 H原创 2021-07-10 01:05:10 · 950 阅读 · 2 评论 -
大数据项目实战之安装CDH6.3.2
安装cdh6.3.2前言一、配置ssh二、安装jdk三、安装mysql四、安装cm4.1 mysql中建库4.2 安装cm五、安装CDH集群5.1 接受条款和协议5.2 集群安装前言之前有写过cdh5.x的安装过程,但是这次想体验下在cdh6.3.2下操作的体验,所以之后项目的操作环境都将是cdh6.3.2!但话说回来现在的cdh之后的版本都将收费,所以如果之后时间够充裕用apache版本去操作一把(之后的目标)!!好了话不多说 进入控制台2)打开侧边栏,点击云服务器ECS3)侧边栏点击实例,然后点击创建实例4)选择计费方式=》穷人模式按量付费、服务器区域5)选定服务器配置6)选定服务器系统7)选定磁盘类型及大小,基本这一步就完成了然后点击"下一原创 2020-12-08 23:56:32 · 1197 阅读 · 0 评论