大数据
流数据处理
国强余富
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
[redis日记] 注册redis为windows服务
注册服务 redis-server --service-install redis.conf删除服务 redis-server --service-uninstall开启服务 redis-server --service-start停止服务 redis-server --service-stop原创 2021-06-04 11:19:30 · 128 阅读 · 0 评论 -
pgsql locale影响说明
The locale settings influence the following SQL features: Sort order in queries usingORDER BYor the standard comparison operators on textual data Theupper,lower, andinitcapfunctions Pattern matching operators (LIKE,SIMILAR TO, and POSIX...原创 2021-05-27 16:52:08 · 257 阅读 · 1 评论 -
[MySQL漏洞修复]Red Hat 7环境MYSQL原地升级方案
摘要:此方案适用于MySQL8.0.16之后的版本,升级后修复以下漏洞Oracle MySQL Server组件安全漏洞(CVE-2019-5482);Oracle MySQL Server Server 安全漏洞(CVE-2020-14878);Oracle MySQL Server 安全漏洞(CVE-2020-1967);Oracle MySQL Server 安全漏洞(CVE-2020-14663);Oracle MySQL Server 安全漏洞(CVE-2020-14678);Orac原创 2021-03-09 11:07:33 · 2905 阅读 · 1 评论 -
Antd示例-在浏览器中使用 script 和 link 标签直接引入方法
Antd官网只写了只简单说明了下,实际运行时需要注意以下几个地方:1.依赖react、react-dom、moment<script src="react.development.js" ></script> <script src="react-dom.development.js" ></script> <script src="moment.js" ></script>2.需要引入babel,且指定script..原创 2021-01-08 18:29:29 · 2783 阅读 · 1 评论 -
【大数据日记】【转】The world beyond batch: Streaming 101(第一节)
在流式计算方面,有两篇经典文章是必读的:The world beyond batch: Streaming 101与The world beyond batch: Streaming 102。这两篇文章的作者是Google流式系统的负责人Tyler Akidau,他是MillWheel与DataFlow的开发者,在流式系统方面十分权威。这两篇文章非常详细并且适合初学者,可以帮助我们理清流式系统的各种概念与面临的挑战,是十分难得的佳作。其中Streaming101主要介绍了流式系统的一些基本概念和困境,同时提转载 2020-05-20 15:48:19 · 619 阅读 · 0 评论 -
【大数据日记】【转】The world beyond batch: Streaming 101(第二节)
数据处理模式现在我们可以开始讲一些有界和无界数据处理的重要模式了:批量和流式,这里我把微批归类为流式,因为二者的区别不是很重要。有界数据处理有界数据很简单,大家都很熟悉。在下图中,左边是一个数据集,使用一些数据处理引擎对它进行处理(典型的是批量处理,尽管一个设计良好的流式引擎也可以胜任),例如MapReduce,右边则是处理后的结果:图2:使用一个典型的批量引擎处理有界数据。左边的有限的无组织的数据通过数据处理引擎的处理,生成了右边对应的结构化的数据。有界数据处理整体来说是很简单的.转载 2020-05-20 15:52:54 · 283 阅读 · 0 评论 -
【大数据日记】【转】The world beyond batch: Streaming 101(第三节)
时间窗口剩下的两种无界数据处理的方法都是时间窗口的变种。在介绍它们之前,我应该先明确时间窗口的含义。时间窗口就是将数据源(无界或者有界)沿着时间线划分成有限的数据块进行处理。下图展示了三种不同的时间窗口模式:图8:窗口模式举例。每种模式都展示了3个不同的 keys,来突出对齐窗口(应用到所有数据的窗口)和未对齐窗口(应用到数据子集的窗口)之间的区别。 固定窗口:固定窗口把时间划分成固定时间长度的段。典型的(如图8所示),固定窗口的段会覆盖整个数据集,这是对齐窗口的一个例子。有些情况下,需要转载 2020-05-20 16:02:56 · 233 阅读 · 0 评论
分享