
编程
lss~
这个作者很懒,什么都没留下…
展开
-
数仓分层的一些概念
事实表:每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据,如销售商品所产生的数据,与软件中实际表概念一样维度:说明数据,维度是指可指定不同值的对象的描述性属性或特征。例如,地理位置的维度可以包括“纬度”、“经度”或“城市名称”。“城市名称”维度的值可以为“旧金山”、“柏林”或“新加坡”。指标:衡量数据,指标是指可以按总数或比值衡量的具体维度元素。例如,维度“城市”可以关联指标“人口”,其值为具体城市的居民总数。维度和指标的关系:虽然维度和指标可以独立使用,但常见的还是相互结合使原创 2020-09-08 16:28:30 · 210 阅读 · 0 评论 -
数据仓库维度建模总结
DWD层维度建模DWD 层需构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。维度建模一般按照以下四个步骤:选择业务过程→声明粒度→确认维度→确认事实DWD层事实表设计原则联系维度的外键+度量值DWS层建模统计各个主题对象的当天行为,服务于DWT 层的主题宽表,以及一些业务明细数据,应对特殊需求(例如,购买行为,统计商品复购率)DWS层表设计原则通过外键获取相关的度量值,整合多个dwd事实表度量值构成新表。DWT层建模以分析的主题对象为建模驱动,基于上层的应用和产品的指标原创 2020-09-08 16:12:52 · 1903 阅读 · 0 评论 -
springBoot总结
**一、**Spring Boot 入门1、Spring Boot 简介简化Spring应用开发的一个框架;整个Spring技术栈的一个大整合;J2EE开发的一站式解决方案;2、微服务2014,martin fowler微服务:架构风格(服务微化)一个应用应该是一组小型服务;可以通过HTTP的方式进行互通;单体应用:ALL IN ONE微服务:每一个功能元素最终都是一个可独立替换和独立升级的软件单元;详细参照微服务文档3、环境准备http://www.gulixueyuan.c原创 2020-06-24 21:10:35 · 617 阅读 · 0 评论 -
分布式资源管理与任务调度框架Yarn
一、Yarn简介1、Yarn是什么Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)一种新的Hadoop资源管理器,一个通用资源管理系统为上层提供统一的资源管理与任务调度及监控,提高了集群管理效率、资源使用率、数据共享效率2、产生背景在Hadoop1.x中MapReduce是Master/Slave结构,在集...原创 2020-02-03 21:30:55 · 2245 阅读 · 0 评论 -
分布式文件系统HDFS
分布式文件系统HDFS一、分布式文件系统HDFS1、产生背景传统的本地文件系统(单机式),在数据量增长过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。2、特点介绍高容错和高可用性,硬件错误是常态而不是异常HDFS设计为运行在普通硬件上,所以硬件故障是很正常的。HDFS提供文件存储副本策略,可以实现错误自检并快速自动恢复。个别硬件的损坏不影响整体数据完整性和计算任务的正常执行...原创 2020-02-03 21:25:41 · 430 阅读 · 0 评论 -
MapReduce执行过程
一、分析MapReduce执行过程MapReduce运行的时候,会通过Mapper运行的任务读取HDFS中的数据文件,然后调用自己的方法,处理数据,最后输出。Reducer任务会接收Mapper任务输出的数据,作为自己的输入数据,调用自己的方法,最后输出到HDFS的文件中。整个流程如图:二、Mapper任务的执行过程详解每个Mapper任务是一个java进程,它会读取HDFS中的文件,解析...转载 2020-02-03 21:10:10 · 269 阅读 · 0 评论 -
Hadoop初识
Hadoop初识1.大数据概念2.Hadoop的思想之源3.Hadoop背景介绍3.1.什么是Hadoop3.2.Hadoop产生背景4.Hadoop组成5.Hadoop的优势6.HADOOP生态圈以及各组成部分的简介1.大数据概念 大数据指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、...原创 2020-01-14 20:24:37 · 203 阅读 · 0 评论 -
一些基础知识
一些基础知识点1,面向对象的特点:封装:对现有事物的一种客观抽象。继承:在封装的基础上,展现客观的依赖,层级关系。多态:一种事物的多种表现方式。2,shell脚本表示使用的解释器路径#! /bin/bashecho "hello world!"脚本的执行方法有几种?#! 新开一个会话去执行脚本文件sh filename.sh#! 在当前会话窗口执行sour...原创 2019-11-12 15:12:00 · 241 阅读 · 0 评论