大数据概念性的东西理解

最新推荐文章于 2024-06-03 19:59:04 发布
最新推荐文章于 2024-06-03 19:59:04 发布
阅读量225 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 其他乱七八糟 文章标签： 数仓名称
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_31866793/article/details/92838621
博客介绍了MPP大规模并行处理架构，详细解释了OLTP和OLAP。OLTP是有事务的数据库如mysql，OLAP是基于数据仓库的分布式系统如hbase、hive、clickHouse，还提到目前兼具两者特性的是greenplum。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1，MPP  大规模并行处理架构

2，OLTP 和 OLAP 详解

  OLTP 是事件驱动面向应用的系统，简单理解就是有事务的数据库 mysql 

 OLAP 是基于数据仓库的，跨部门，面向主题的，简单理解就是分布式数据仓库  hbase hive clickHouse 

目前包含两者 特性的是 greenplum

3，

大数据职业理解_大数据职业发展方向
weixin_42303955的博客
12-29 1934
大数据职业发展方向说明： 以下的我，不是我，是原作者。我从业的两段经历大数据的方向有很多的，即使没有真正经历过，平时也会耳濡目染，在各大杂志公众号新闻上听说过，什么大数据人工智能，大数据分析挖掘，大数据架构师等职位。我以我的两段从业经历来说明一下大数据的方向吧。我的前公司是一家互联网企业，大数据部门是从0开始起步的。我们的数据总监是来自百度的资深专家。一开始是从0开始搭建 CDH 集群，接着采集服...
大数据职业理解_大数据岗位介绍和职业规划分析
weixin_39568926的博客
12-19 4803
我们经常在谈论的大数据行业究竟是做什么的？相信这个问题绝大多数人都说不清楚。因为大数据行业是一个很广泛的概念，想要从事大数据行业的朋友可以有很多职业方向的选择。下面我将把大数据行业大致划分为五个方向的就业岗位，它们分别是数据管理专员、数据工程师、商业分析师、机器学习研究员/从业者和数据导向专业人员。然后一一为大家进行岗位介绍和职业规划的分析，感兴趣就接着看下去吧！1、数据管理专员数据管理专员其实就...
转--对大数据的理解和整理
lgf_201212的博客
08-07 1578
大数据最近几年非常的火，那么究竟什么是大数据呢？ 根据网上的资料整理分析，概括为以下四点 大数据的概念与意义 大数据的历史背景： •2008年9 月，美国《自然》（Nature）杂志专刊——The next google,第一次正式提出“大数据”概念。 •2011年2月1日，《科学》（Science）杂志专刊——Dealing with data，通过社会调查的方式，第一次综合分析了大数...
大数据概述及快速理解
weixin_43469563的博客
03-14 1207
1:大数据的定义及特点 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 特点: 容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息； 种类（Variety）：数据类型的多样性； 速度（Velocity）：指获得数据的速度； 可变性（Va...
大数据相关概念总结
小德国的专栏
03-31 3119
本贴从解决这类问题的方法入手，开辟一系列专题来解决海量数据问题。拟包含 以下几个方面。 Bloom Filter Hash Bit-Map 堆(Heap) 双层桶划分 数据库索引 倒排索引（Inverted Index） 外排序 Trie树 MapReduce 　　在这些解决方案之上，再借助一定的例子来剖析海量数据处理问题的解决方案。 海量数据处理专题（二）
关于数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结
热门推荐
kuangfeng88588的博客
04-16 3万+
注：本文于2019年1月31日发表于微信公众号 谈数据（learning-bigdata） 在和一些客户、同事聊数据的时候，发现好多人对于数据相关的一些概念、作用并不是很清楚。这里我针对自己工作接触和学习积累的一些内容给大家做一个总结和分享。如有偏颇，请斧正！ 1、数据元 1.1 标准定义 [GB/T 18391.1－2002，定义3.14] ，用一组属性描述定义、标识、表示和允许值的数据单元，数...
大数据的理解
kailzhu的博客
06-23 5903
大数据讲解1、大数据概念2、大数据特点2.1 Volume（大量）2.2 Variety（多样）2.3 Velocity（高速）2.4 Value（价值）3 大数据技术发展史4 大数据应用场景4.1医疗大数据看病更高效4.2生物大数据改良基因4.3金融大数据理财利器4.4零售大数据最懂消费者4.5电商大数据精准营销法宝4.6农牧大数据量化生产4.7交通大数据畅通出行4.8教育大数据因材施教4.9体育大数据夺冠精灵4.10环保大数据对抗PM2.54.11食品大数据舌尖上的安全4.12政府调控和财政支出大数据令
大数据职业理解_对于大数据的认识和理解
weixin_28973031的博客
12-29 1976
______________________________________________________________________________________________________________精品资料对于大数据的认识和理解这学期选修了网络工程这门课程，当时是抱着扫盲的态度选的这门课程，给自己定的目标不高，只需要对一些基础的概念和网络结构有些认识就可以，以免以后在人前谈论...
什么叫大数据 大数据的概念
BLSPers
10-07 4053
1、大数据定义  对于“大数据”（Big data）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力 的海量、高增长率和多样化的信息资产。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工...
大数据思维 Hadoop HDFS基本概念【万字详细版】
最新发布
weixin_55354264的博客
06-03 1218
所谓分而治之就是将一个复杂的东西按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。（例:一家公司，老板接到一个项目，项目在丢给项目经理，项目经理在丢给我们这群苦逼码农，一层一层分解）在大数据中是以海量数据作为切入点进项讲解。所谓的海量数据处理，何为海量，就是数据量太大，跟海一样大，所以会导致我们，导致传统的计算都是去完成计算,前提就是内存能够完整的容纳所有数据。而大数据领域面对的都是 TB 级别起步的数据量。
大数据之重点概念及原理
www.成神之路.csdn
08-09 9671
一、大数据 (一)概念： 指的是传统数据处理应用软件不足以处理(存储和计算)它们大而复杂的数据集。 (二)数据级别： 1.MB:普通用户数据级别 2.PB:企业级数据级别 3.ZB:全球数据总量级别 (三)特点： 容量大，种类多，速度快，价值高 (四)Hadoop 1.概念：Apache旗下的一套开源软件平台 2.功能：利...
大数据的概念
qq_29233719的博客
02-24 7889
1、大数据定义  对于“大数据”（Big data）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力 的海量、高增长率和多样化的信息资产。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工
海豚调度器（dolphinscheduler）再次使用，添加钉钉预警
qq_31866793的博客
09-29 2931
1，首先我们部署是海豚调度器 1.3.8版本，由于页面只有邮件预警，所以在了解源码的同时，需要添加钉钉预警 2，说明，这一块是同事搞的，不是我搞的，新版本的dolphinscheduler已经有了钉钉模块，只是新版本还没有发布 3，我们现在只是添加简单的钉钉预警，任务成功或者失败会发送邮件+钉钉 4，具体操作 找到最新的源码devhttps://github1s.com/apache/dolphinscheduler/blob/dev/dolphinscheduler-alert/src/ma...
Flink开发遇到的问题汇总-
qq_31866793的博客
07-02 2533
1，提交的离线任务完成之后，在一段时间后web端没有显示或者说自动消失： 原因分析： https://blog.youkuaiyun.com/u013076044/article/details/104740792 是需要开启historyserver 2，Flink读取hdfs的（hive分区）文件，目前已知有三种方式： 通过循环union方式，本地可以执行，集群提交报错 通过官方API，可是只支持csv文件格式,可以读取hdfs上的文件: ...
CDH集群下，Flink+hive+iceberg+zeppelin实践—01
qq_31866793的博客
04-22 2299
实操记录 版本： Flink 1.11.2 iceberg最新版本 zeppelin hive是基于cdh 6.3.2版本下的hive 2.1 注意，iceberg只支持2.x以上，官网说的。 一，保证Flink on zeppelin查询hive没问题 1）Zeppelin flink 参数配置： Flink sql 读写hive 1）Jar包放入Flink lib下： flink-connector-hive_2.11-1.11.2.jar hive...
规则引擎Drools --- 思考怎么结合flink使用
qq_31866793的博客
10-11 1576
一、前言 前一段时间接触到了风控系统，因为风控的业务是负责多变的，所以在其中过程中，业务也不断的提出新的需求，比如： ☞规则优惠 提供面向不同客户细分维度、时间属性、业务种类进行群体性的优惠条件设定，根据优惠条件设定各自的优惠定价标准。 § 支持多种优惠条件的定义（附例子） o 员工标志 - 我是点融员工，P2P撮合手续全免了 o 年龄段 -营销活动，30-40岁之前的同学不收撮合手...
欢迎使用Alink（你可以理解为对标spark ML），阿里开源的Flink机器学习
qq_31866793的博客
12-13 1237
地址：https://zhuanlan.zhihu.com/p/97020481 github地址：https://github.com/alibaba/Alink
Flink 项目案例实操01
qq_31866793的博客
07-03 906
项目详情：https://yq.aliyun.com/articles/691495 基于实时计算，您可以轻松完成实时欺诈检测系统。 实时欺诈检测系统能够及时发现用户高危行为并采取措施，降低损失。 1，系统架构： 实时欺诈检测（风控）系统流程如下： 用户的行为经由App上报或Web日志记录下来，发送到一个消息队列里去。 实时计算订阅消息队列，过滤出感兴趣的行为，比如：购买、领券、浏览...
大数据的一些基本命令汇总
qq_31866793的博客
06-21 478
一，集群启动命令 CDH 启动: /opt/cm-5.1.3/etc/init.d/cloudera-scm-server start /opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start CDH 关闭: /opt/cm-5.1.3/etc/init.d/cloudera-scm-server stop /opt/cm-5.1.3/etc/in...
一，近期的规划
qq_31866793的博客
06-21 330
1，大数据项目看完。2，ES ，Azkaban，Mongdb，redis ，ELK淘宝视频。3，CDH要搭建一个。4，HDP要搭建一个。5，python还是要弄一下基础的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值