大数据常见术语,你了解多少?

大数据常见术语表(Z) 大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,通过本文给出一个常用的大数据术语表,抛砖引玉,供大家深入了解。其中部分定义参考了相应的博客文章。当然,这份术语表并没有100%包含所有的术语。 A 聚合(Aggregation) – 搜索、合并、显示数据的过程 算法(Algorithms) – 可以完成某种数据分析的数学公式 分析法(Analytics) – 用于发现数据的内在涵义... 阅读详情

 

大数据常见术语一览

主要内容包含以下(收藏,转发给你身边的朋友)

  • 雪花模型、星型模型和星座模型

  • 事实表

  • 维度表

  • 上钻与下钻

  • 维度退化

  • 数据湖

  • UV与PV

  • 画像

  • ETL

  • 机器学习

  • 大数据杀熟

  • SKU与SPU

  • 即席查询

  • 数据湖

  • 数据中台

  • ODS,DWD,DWS,DWT与ADS

  • T0与T+1

用户画像

用户画像又称用户角色,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。作为实际用户的虚拟代表,用户画像所形成的用户角色并不是脱离产品和市场之外所构建出来的,形成的用户角色需要有代表性能代表产品的主要受众和目标群体。

大数据杀熟

对大数据来说这是一个不好的概念。

不同消费者对价格敏感度不同,支付意愿有差异,相比起统一定价,差异化的定价行为更能提高商家利润。因此互联网入口出现垄断,杀熟便会成为一种“自然反应”。

大数据杀熟本身就是利用各种这个消费数据,把消费数据形成标签,这种杀熟做法非常糟糕。其实在我们交易过程里面很容易识别,但在网络商品交易里面可能比较难识别,而且会破坏交易的公平性,破坏了社会的公平。

即席查询

即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询是由用户自定义查询条件的。

查询引擎怎么选?7000字解析所有开源引擎的秘密

数据湖

数据湖(Data Lake)是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。hudi 目前,Hadoop是最常用的部署数据湖的技术,所以很多人会觉得数据湖就是Hadoop集群。数据湖是一个概念,而Hadoop是用于实现这个概念的技术。

数据湖能处理所有类型的数据,如结构化数据,非结构化数据,半结构化数据等,数据的类型依赖于数据源系统的原始数据格式。非结构化数据(语音、图片、视频等) 根据海量的数据,挖掘出规律,反应给运营部门。拥有非常强的计算能力用于处理数据。

而不同与数据仓库的是:

数据仓库主要处理历史的、结构化的数据,而且这些数据必须与数据仓库事先定义的模型吻合。数据仓库分析的指标都是产品经理提前规定好的。按需分析数据。(日活、新增、留存、转化率等等)。

数据中台

数据中台是对既有/新建信息化系统业务与数据的沉淀,是实现数据赋能新业务、新应用的中间、支撑性平台。

在数据开发中,核心数据模型的变化是相对缓慢的,同时,对数据进行维护的工作量也非常大;但业务创新的速度、对数据提出的需求的变化,是非常快速的。

数据中台的出现,就是为了弥补数据开发和应用开发之间,由于开发速度不匹配,出现的响应力跟不上的问题。

数据集市

数据集市(Data Mart),也叫数据市场,数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。

数据集市就是企业级数据仓库的一个子集,它主要面向部门级业务,并且只面向某个特定的主题。为了解决灵活性与性能之间的矛盾,数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据,从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

特点:

1.数据集市的特征包括规模小。

2.有特定的应用。

3.面向部门。

4.由业务部门定义、设计和开发。

5.业务部门管理和维护。

6.能快速实现。

7.购买较便宜。

8.投资快速回收。

9.工具集的紧密集成。

10.提供更详细的、预先存在的、数据仓库的摘要子集。

11.可升级到完整的数据仓库。

ETL

ETL 代表提取、转换和加载。它指的是这一个过程:「提取」原始数据,通过清洗/丰富的手段,把数据「转换」为「适合使用」的形式,并且将其「加载」到合适的库中供系统使用。即使 ETL 源自数据仓库,但是这个过程在获取数据的时候也在被使用,例如,在大数据系统中从外部源获得数据。

雪花模型、星型模型和星座模型

星型模型:是一种多维的数据关系,它由一个事实表(Fact Table)和一组维表(Dimension Table)组成。每个维表都有一个维作为主键,所有这些维的主键组合成事实表的主键。

雪花型模型:当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时,其图解就像多个雪花连接在一起,故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化,原有的各维表可能被扩展为小的事实表,形成一些局部的 "层次 " 区域,这些被分解的表都连接到主维度表而不是事实表。

星座模型:由多个事实表组合,维表是公共的,可以被多个事实表共享。

事实表

事实表中的每行数据代表一个业务事件。“事实”这个术语表示的是业务事件的度量值,例如,订单事件中的下单金额。

(1)事务性事实表 以每个事务或事件为单位,例如一个销售订单记录,一笔支付记录等,作为事实表里的一行数据。

(2)周期性快照事实表 周期性快照事实表中不会保留所有数据,只保留固定时间间隔的数据,例如每天或者每月的销售额,或每月的账户余额等。

(3)累积性快照事实表 累计快照事实表用于跟踪业务事实的变化。例如,数据仓库中可能需要累积或者存储订单从下订单开始,到订单商品被打包、运输、和签收的各个业务阶段的时间点数据来跟踪订单声明周期的进展情况。当这个业务过程进行时,事实表的记录也要不断跟新。

维度表

维度表(Dimension Table)或维表,有时也称查找表(Lookup Table),是与事实表相对应的一种表;它保存了维度的属性值,可以跟事实表做关联;相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。常见的维度表有:日期表(存储与日期对应的周、月、季度等的属性)、地点表(包含国家、省/州、城市等属性)等。维度是维度建模的基础和灵魂,

使用维度表有诸多好处,具体如下:

(1). 缩小了事实表的大小。

(2). 便于维度的管理和维护,增加、删除和修改维度的属性,不必对事实表的大量记录进行改动。

(3).维度表可以为多个事实表重用,以减少重复工作。

上钻与下钻

上钻:自下而上,从当前数据回归到上层数据。

下钻:自上而下, 从当前数据继续向下获取下层数据。

钻取是在数据分析中不可缺少的功能之一,通过改变展现数据维度的层次、变换分析的粒度从而关注数据中更详尽的信息。它包括向上钻取( roll up )和向下钻取( drill down )。

上钻是沿着维度的层次向上聚集汇总数据,下钻是在分析时加深维度,对数据进行层层深入的查看。通过逐层下钻,数据更加一目了然,更能充分挖掘数据背后的价值,及时做出更加正确的决策。

维度退化

维度退化的维度表可以被剔除,从而简化维度数据仓库的模式。因为简单的模式比复杂的更容易理解,也有更好的查询性能。

当一个维度没有数据仓库需要的任何数据时就可以退化此维度。需要把维度退化的相关数据迁移到事实表中,然后删除退化的维度。

维度属性也可以存储到事实表中,这种存储到事实表中的维度列被称为“维度退化”。与其他存储在维表中的维度一样 , 维度退化也可以用来进行事实表的过滤查询、实现聚合操作等。

UV与PV

PV(访问量):即Page View, 具体是指网站的是页面浏览量或者点击量;

UV(独立访客):即Unique Visitor,访问您网站的一台电脑客户端为一个访客。根据IP地址来区分访客数,在一段时间内重复访问,也算是一个UV;

UV价值=销售额/访客数。意思是每位访客带来多少销售额;UV价值越大,产品越迎合消费者需求,只有一定的推广投入才会带来相对应的UV;比如这篇文章文末的浏览量这边代表的就是UV,不管你今天打开过还是明天再打开,对你来说,程序后台记录的增加值是1。

SKU与SPU

SPU = Standard Product Unit (标准化产品单元)

SPU是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息的集合,该集合描述了一个产品的特性。通俗点讲,属性值、特性相同的商品就可以称为一个SPU。

SKU=stock keeping unit(库存量单位)

SKU即库存进出计量的单位, 可以是以件、盒、托盘等为单位。

你想要一台iPhone13, 店员也会再继续问: 你想要什么iPhone 13? 64G 银色?128G 白色?每一台iPhone 13的毛重都是400.00g,产地也都是中国大陆,这两个属性就属于spu属性。

而容量和颜色,这种会影响价格和库存的(比如64G与128G的价格不同,128G白色还有货,绿色卖完了)属性就是sku属性。

spu属性:

1、毛重420.00 g

2、产地中国大陆

sku属性:

1、容量: 16G, 64G, 128G

2、颜色: 银、白、玫瑰金

ODS,DWD,DWS,DWT与ADS

ODS层:保持数据原貌不做任何修改,起到备份数据的作用。

DWD层:构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。

DWS层:服务数据层,DWS层存放的所有主题对象当天的汇总行为,例如每个地区当天的下单次数,下单金额等。

DWT层:DWT层存放的是所有主题对象的累计行为,例如一个地区最近(7天,15天,30天,60天)的下单次数、下单金额等。

DWS层是天表,DWT层是累计值。

ADS层:应用数据层,指标层。

T+0与T+1

概念最早来自于股市。T+0和T+1交易制度是中国股市的一种交易制度,T+0交易指的是当天买入股票可当天卖出,当天卖出股票又可当天买入。

在大数据中:T+0代表实时处理的数据。T+1代表处理昨天的数据。

机器学习

人工智能的一部分,指的是机器能够从它们所完成的任务中进行自我学习,通过长期的累积实现自我改进。

MapReduce

是处理大规模数据的一种软件框架(Map: 映射,Reduce: 归纳)。

实时数据

指在几毫秒内被创建、处理、存储、分析并显示的数据。

大数据左右手

技术如同手中的水有了生命似的,汇聚在了一起。作为大数据开发工作者,致力于大数据技术的学习与工作,分享大数据原理、架构、实时、离线、面试与总结,分享生活思考与读书见解。总有适合你的那一篇。

关注公众号!!!

和我联系吧,加群交流大数据知识,一起成长~~~

您应该知道的101个大数据术语 由于每天都会产生大量的数据,因此了解大数据的复杂性变得至关重要。如果您打算进入大数据星球,则应该熟悉大数据术语。这些术语将帮助您深入了解大数据世界。因此,让我们从术语大数据本身开始- 由于业务专业人员,项目,从业人员和供应商以不同的方式来理解“大数据”,因此很难准确定义。因此,一般而言,大数据是: 大/大数据集(大数据集是指太大而无法在单台计算机上存储或处理的数据集),并且, 用... 阅读详情

相关推荐

大数据人都该知道的 75 个专业术语,你一定得看!

接下来继续了解另外 50 个大数据术语。   Apache 软件基金会(ASF) 提供了许多大数据的开源项目,目前有 350 多个。解释完这些项目需要耗费大量时间,所以我只挑选解释了一些流行术语。     Apache Kafka     命名于捷克作家「卡夫卡」,用于构建实时数据管道和流媒体应用。   它如此流行的原因在于能够以容错的方式存储、管理和处理数据流,据说还非常「快...

cqacrh2798的博客 1854

关于大数据,你应该知道的75个专业术语

近日,RameshDontha在DataConomy上连发两篇文章,扼要而全面地介绍了关于大数据的75个核心术语,这不仅是大数据初学者的很好的入门资料,对于高阶从业人员也可以起到查缺补漏的作用。本文分为上篇(25个术语)和下篇(50个术语)。 上篇(25个术语) 如果你刚接触大数据,你可能会觉得这个领域很难以理解,无从下手。不过,你可以从下面这份包含了25个大数据术语的清...

顺其自然~专栏 3377

大数据BigData总结笔记(一)

一 什么是大数据? 大数据(big data),IT行业术语,P级甚至是E级数据量! 是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合, 是需要新处理模式才能具有更强的决策力、洞察发现力和 流程优化能力的海量、高增长率和多样化的信息资产。 eg: 19g 的txt文件--打开失败:常规软件无法捕捉管理,处理.. 买枪案例:洞察发现力.. 啤酒和尿布案例:洞察发现力,流程优...

weixin_45763404的博客 2883

什么是 T+1 数据?

来源:一个数据人的自留地 作者:李庆辉(新芭)无论何时买卖股票、债券、交易所买卖基金或共同基金,都有两个重要的日期需要了解:交易日期和结算日期(T 是交易日期)。缩写 T+1、T+2 ...

weixin_38754337的博客 5174

云计算场景下常见词汇/术语汇总---长期更新

从A到Z,常见云计算场景下的各类英文与中文名词对照,如IaaS、PaaS、SaaS、AWS、SLA、按需付费、微服务、LAMP、联合数据库、弹性、数据迁移、DevOps、颠覆性技术、云服务提供商、CSP、云管理平台(CMP)、大数据等等,长期更新(因为技术和名词层出不穷)

品高云邱洋的云知识分享 1万+

大数据领域的50个专业术语

在这个信息爆炸的时代,大数据技术为我们提供了处理、分析和提取价值的工具。在本文中,我将介绍50个与大数据相关的专业术语,并提供相应的源代码示例。这里列举的只是大数据领域中的一小部分专业术语。随着技术的不断发展和创新,新的术语和概念也在不断涌现。希望这些示例代码能够帮助您入门和实践大数据相关的工作。请注意,以上示例代码仅供参考,具体实现可能因使用的技术和平台而有所差异。在实际应用中,请根据您的需求和环境进行适当的调整和修改。如果您对某个特定的术语或技术有更具体的问题,我将很乐意为您提供帮助和解答。

2301_79366177的博客 338

75个每个人都应该知道的大数据术语

在第一篇文章中介绍了以下术语:算法,分析,描述性分析,规定分析,预测分析,批处理,Cassandra,云计算,集群计算,黑暗数据,数据湖,数据挖掘,数据科学家,分布式文件系统,ETL,Hadoop,内存计算,IOT,机器学习,Mapreduce,NoSQL,R,Spark,流处理,结构化。非结构化数据。现在我们来看看还有50个更大的数据条款。Apache软件基金会(ASF...

全网:架构师研究会 420

tree_sitter多语言解析器配置实战指南

本文是一份详细的Tree-sitter多语言解析器配置实战指南。文章从零开始,手把手指导如何搭建Python环境、安装指定版本的tree-sitter库、下载并编译多种语言的语法规则,最终构建一个统一的解析器库。通过实战代码演示了如何初始化解析器、解析代码并遍历语法树,旨在帮助开发者高效处理多语言代码分析任务,并分享了高级技巧与常见问题排坑经验。

weixin_29245767的博客 268

大数据常见术语表

原文链接 摘要: 大数据常见术语表 大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,我们通过本文给出一个常用的大数据术语表,抛砖引玉,供大家深入了解。其中部分定义参考了相应的博客文章。当然,这份术语表并没有100%包含所有的术语,如果你认为有任何遗漏之处,请告之我们。 大数据常见术语表 大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此

aikudemn的博客 1308

Nordic开发者必备:SEGGER Embedded Studio免费许可证申请与配置全攻略

本文为Nordic芯片开发者提供了SEGGER Embedded Studio(SES)集成开发环境的详细配置指南。内容涵盖免费许可证的合规申请流程、项目创建、Nordic SDK集成,以及编辑器优化、构建调试配置、RTT日志输出等核心功能的高效设置,旨在帮助开发者构建深度优化的专业开发环境,显著提升嵌入式开发效率。

cheese的博客 353

浅谈MOS管的发热原因和解决办法

解读一下开关管发热原因,解决方案和开关损耗测试。

qq_45508321的博客 1万+

大数据常见术语

大数据常见术语一览 主要内容包含以下(收藏,转发给你身边的朋友)雪花模型、星型模型和星座模型 事实表 维度表 上钻与下钻 维度退化 数据湖 UV与PV 画像 ETL 机器学习 大数据杀熟 SKU与SPU 即席查询 数据湖 数据中台 ODS,DWD,DWS,DWT与ADS T0与T+1用户画像 用户画像又称用户角色,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。作为实际

weixin_44976611的博客 4166

UE5热更新(通过Pak包加载关卡资源,并添加到流关卡)

请先阅读我上一篇文章)**

xialuhui的博客 6456

常见的大数据术语表

大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,我们通过本文给出一个常用的大数据术语表,抛砖引玉,供大家深入了解。其中部分定义参考了相应的博客文章。当然,这份术语表并没有100%包含所有的术语,如果你认为有任何遗漏之处,请告之我们。 A 聚合(Aggregation) – 搜索、合并、显示数据的过程算法(Algorithms) – 可以完成某种数据分析的数

LYJXCZ的专栏 1053

WPF高级 | WPF 与数据库交互:连接、查询与数据更新

WPF高级 | WPF 与数据库交互:连接、查询与数据更新,在现代应用程序开发中,数据的存储和管理至关重要。Windows Presentation Foundation(WPF)作为一款强大的图形界面开发框架,常常需要与数据库进行交互,以实现数据的持久化存储、读取和更新。本文将深入探讨 WPF 与数据库交互的各个方面,包括数据库连接的建立、数据查询的执行以及数据更新的操作,并通过丰富的代码示例和详细的概念解释,帮助读者掌握这一关键技术。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 6万+

8,9,10,11,12,13代CPU特制win7 64位系统

对于7代以上的CPU装win7,在UEFI的模式下,如果不提前注入显卡驱动,就会一直卡在LOGO界面。对于此情况,我们推出一个内置了显卡和USB驱动的特制版win7系统。由于单文件已经大于了4G,所以推荐使用rufus来写入镜像安装。如还有问题,请记录下电脑配置,联系QQ11717907。制作完成以后,就可以通过U盘启动安装了。

海康威视技术支持 7257

25个大数据专业术语入门大数据必备知识

如果你初来乍到,大数据看起来很吓人!根据你掌握的基本理论,让我们专注于一些关键术语以此给你的约会对象、老板、家人或者任何一个人带来深刻的印象。 让我们开始吧: 1.算法。“算法”如何与大数据相关?即使算法是一个通用术语,但大数据分析使其在当代更受青睐和流行。 2.分析。年末你可能会收到一份来自信用卡公司寄来的包含了全年所有交易记录的年终报表。如果你有兴趣进一步分析自己在食物、衣服、娱乐等方面...

大数据学习中心 3603

【数据分析】比较SparCC、Pearson和Spearman相关性估计方法在合成组学数据上的表现

【数据分析】比较SparCC、Pearson和Spearman相关性估计方法在合成组学数据上的表现

专注生信领域 662

关于大数据,你应该知道的50个专业术语

 如果你刚接触大数据,你可能会觉得这个领域很难以理解,无从下手。不过,你可以从下面这份包含了 25 个大数据术语的清单入手,那么我们开始吧。   算法(Algorithm):算法可以理解成一种数学公式或用于进行数据分析的统计学过程。那么,「算法」又是何以与大数据扯上关系的呢?要知道,尽管算法这个词是一个统称,但是在这个流行大数据分析的时代,算法也经常被提及且变得越发流行。   分析...

Myhoooyo的博客 5281

海上风电经柔性直流送出系统的阻抗建模与稳定性分析

摘要 本文针对海上风电经柔性直流送出系统的稳定性问题,提出了一种基于阻抗建模的分析方法。研究建立了直驱永磁同步发电机(PMSG)的序阻抗解析模型和模块化多电平换流器(MMC)的交流侧小信号阻抗模型,通过Matlab/Simulink平台实现了完整的仿真验证系统。采用谐波线性化原理和端口阻抗分析法,揭示了风电机组与柔直换流器之间的阻抗匹配特性对系统稳定性的影响规律。研究结果表明,控制参数设置会显著改变系统阻抗特性,进而影响稳定裕度。文中提出的阻抗建模方法为分析海上风电柔直送出系统的宽频振荡问题提供了有效工具,

huanghm88的专栏 234

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

BI大数据名词术语

大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,我们通过本文给出一个常用的大数据术语表,抛砖引玉,供大家深入了解,部分定义参考了相应的博客文章。A聚合 (Aggregation) – 搜索、合并、显示数据的过程算法 (Algorithms) – 可以完成某种数据分析的数学公式分析法 (Analytics) – 用于发现数据的内在涵义异常检测 (Anomaly detection)...

Stella Lee's Blog 1222

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

精心整理 | 大数据体系知识术语

大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,我们通过本文给出一个常用的大数据术语表,抛砖引玉,供大家深入了解,部分定义参考了相应的博客文章。

数控小J 对大数据的探索与见解 1393

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

大数据技术15:大数据常见术语汇总

大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,通过本文整理了大数据开发工程师经常会接触到的名词和概念,了解这些专有名词对于数据研发和数据分析时的人员协作及研发都有很高的作用。

何哥的博客 3299

这51个大数据术语,你懂的有几个?

Big Data 术语 | 你了解多少?我从最近的大数据指南中做出了一个列表,其中列出了您需要了解的最重要的相关术语和定义。▼▼▼AAlgorithm:为人工智能、神经...

架构师小秘圈 976
上一篇: 大数据之分布式协调神器:Zookeeper选举
下一篇: Hadoop学习与面试8000字,收藏这一篇就够了
大数据左右手
博客等级 码龄9年 475粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值