大数据管理与分析 第十一章 流计算

原创 已于 2022-07-25 10:06:42 修改 · 300 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

于 2022-06-24 21:49:44 首次发布
流计算是一种针对数据流的实时计算技术，常用于处理大量实时数据并提供快速响应。在流计算中，数据从实时采集开始，通过处理节点进行实时计算，再提供实时查询服务。TwitterStorm是一个实时计算系统，它的设计理念是将数据流抽象为无界的连续Tuple流，Spouts作为数据源，Bolts则负责处理和转换流数据。在Storm中，多个Bolts可以并行处理来自Spout的数据，形成Topology（拓扑）以优化效率。

流计算

什么是流计算

  • 流计算概念： 流计算是针对数据流的实时计算
  • 流计算应用场景：流计算是针对流数据的实时计算，其主要应用在于产生大量流数据、同时对实时性要求高的领域

流计算处理的流程

  • 数据实时采集：提供实时数据，低延迟，稳定可靠
  • 数据实时计算
  • 实时查询服务

在这里插入图片描述
离线分析延时较大，需要实时分析数据

Twitter Storm

在这里插入图片描述
Twitter分层的数据处理架构由Hadoop和ElephantDB组成批处理系统，Storm和Cassandra组成实时系统，实时系统处理的结果最终会由批处理系统来修正，正是这个观点使得Storm的设计与众不同

Storm 设计思想

  • Storm对于流Stream的抽象：流是一个不间断的无界的连续Tuple（元组，是元素有序列表）
    在这里插入图片描述
  • Storm认为每个Stream都有一个源头，它将这个源头抽象为Spouts
    在这里插入图片描述
  • Storm将流的中间状态转换抽象为Bolts，Bolts可以处理Tuples，同时它也可以发送新的流给其他Bolts使用

在这里插入图片描述

  • 为了提高效率，在Spout源接上多个Bolts处理器。Storm将这样的无向环图抽象为Topology（拓扑）

在这里插入图片描述

大数据新视界 --大数据大厂之大数据如何重塑金融风险管理：精准预测与防控
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
10-10 2958
本文探讨大数据在金融风险管理中的重要性、应用场景、技术实现及案例分析，展示其精准预测与防控风险的能力。
Stream 流的基本概念以及常见应用
廖先森的博客
06-16 922
流是一种指定的计算视图。流遵循“做什么而非怎么做”的原则，它比循环更易于阅读。可以让你以一种声明的方式处理数据。
实时流计算系统设计数据处理：流计算到底计算什么？流数据操作~
2401_83384536的博客
04-24 1259
到目前为止，通过前面介绍我们已经有了流数据源，再后面我们已经实现了一个用于构建单节点流计算应用的框架。接下来，我们就要用它们做一些真正有意义的事情了。那么问题来了，我们千辛万苦构建的流计算系统到底能够计算什么呢？总的来说，我们使用流计算主要是为了计算以下几类问题。流数据操作可以说是流计算系统与生俱来的能力，它本身是针对数据流的转化或转移处理，所以实现和使用起来都相对更加直观。流数据操作的内容主要包括3类：对数据进行清洗、规整和结构化，对不同来源的数据进行关联及合并，以及在不同系统之间搬运数据。
大数据技术---流计算（Storm）
qq_43752469的博客
10-12 1万+
一、流计算概述 流数据：实时产生的数据，并且实时不断地像流水一样到达。 流数据特征： 1、数据快速持续到达，潜在大小也许是无穷无尽的。 2、数据来源众多，格式复杂。 3、数据量大，但是不是十分关注存储，一旦经过处理，要么被丢弃，要么被归档存储。 4、注重数据的整体价值，不过分关注个别数据。 5、数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序。 数据类型：静态数据和流数据（动态计算）。 流计算：实时获取来自不同数据源的海量数据经过实时分析处理，获取有价值的信息。 流计算基本理念： 1
林子雨_大数据技术原理与应用课后习题
热门推荐
qq_40669059的博客
03-24 4万+
第一章 大数据概述 P26 试述信息技术发展史上的3次信息化浪潮及其具体内容 信息化浪潮 发生时间 标志 解决的问题 第一次浪潮 1980年前后 个人计算机 信息处理 第二次浪潮 1995年前后 互联网 信息传输 第三次浪潮 2010年前后 物联网、云计算和大数据 信息爆炸 试述数据产生方式经历的几个阶段 3个阶段，分别是运营式系统阶段、用户原创内容阶段和感知式系统阶段。 运营式系统阶段：...
探索Gizzard：Twitter的分布式数据管理框架
gitblog_00004的博客
04-10 398
探索Gizzard：Twitter的分布式数据管理框架 gizzard项目地址:https://gitcode.com/gh_mirrors/giz/gizzard 是Twitter开源的一个强大的、高度可配置的分布式数据管理系统。它最初设计用于处理大量实时数据流，帮助构建容错和可扩展的数据层。本文将带你了解Gizzard的核心技术、应用场景及其独特优势。 项目简介 Gizzard是一个框架，允...
林子雨大数据技术原理与应用第八章课后题答案.pdf
06-17
在"林子雨大数据技术原理与应用第八章课后题答案.pdf"中，主要讨论了流数据的特点、流计算的需求以及流计算框架等内容。 流数据是指以大量、快速、时变的形式持续到达的数据流，例如，环境监测中的传感器数据。这些...
林子雨大数据技术原理与应用第八章课后题答案.docx
06-17
流计算系统与传统处理系统的差异在于对数据的处理方式：流处理实时数据，传统处理静态数据，因此流计算能提供即时结果，而传统处理给出的是过去的状态。 流计算应用广泛： 1. 实时分析：如购物网站根据用户行为实时...
林子雨大数据技术原理与应用第八章课后题答案 (2).docx
06-17
流计算的处理流程包括数据实时采集、实时计算和实时查询服务，与传统数据处理流程的主要区别在于数据的实时性和查询的主动性。 数据实时采集系统通常由Agent、Collector和Store组成： 1. Agent负责主动采集数据并推...
完整版大数据课件集合12-大数据导论-第十二章-Spark（共22页）.ppt
08-21
Spark不仅是一个计算框架，更是一个全面的大数据处理生态系统，其设计目标是为了解决Hadoop MapReduce在迭代计算和实时计算上的性能瓶颈。2013年，Spark成为Apache软件基金会的重要项目之一，并在随后几年迅速普及，...
elephant-db:ElephantDB是一个超级简单的内存节点“数据库”
05-09
大象数据库 :elephant: ElephantDB是一个超级简单的内存节点数据库。 它支持添加，删除，更新和查询。 它是同步的，旨在在对API进行原型制作或存根时使用。最近在Node v6.3.0中进行了测试。 npm install --save elephant-db 基本范例 这是一个创建数据库，添加一些项目并检索它们的基本示例。 返回的所有项目都是副本，可以安全地进行更改，而不会影响存储在数据库中的实际项目。 const ElephantDB = require ( 'elephant-db' ) ; // You can set up different collections based like this. Collections // are kind of like tables in which your data can and will be stored. const d
elephantdb, 在从Hadoop导出键/值数据时，分布式数据库专用.zip
09-18
elephantdb, 在从Hadoop导出键/值数据时，分布式数据库专用 ElephantDB 0.5.1 ( cascalog-2.x ) ElephantDB 0.4.5 ( cascalog-1.x )ElephantDB是一个专门用于从Hadoop导出键/值数据的数据库。 Elephant
图解 Twitter 架构图
面向生活编程
06-16 2556
两年前，马老板收购了twitter，并且做了一系列的大动作。那么今天我们来看一下这个全球最火的软件之一的架构。
第11章 流计算
wyz191的专栏
05-01 4359
大数据包括静态数据和动态数据（流数据），相应地，大数据计算包括批量计算和实时计算。传统的MapReduce框架采用离线处理计算的方式，主要用于对静态数据的批量计算，并不适合处理流数据。流计算即针对流数据的实时计算。Storm流计算框架具有可扩展性、高容错性、能可靠地处理消息的特点，且使用简单，可以以较低的成本来开发实时应用。 流计算概念 静态数据和流数据（动态数据） 静态数据：静态数据是指不会随时间发生变化的数据。 流数据：数据以大量、快速、时变的流形式持续到达。例如：网络监控、电信金融、生产制造等
Twitter Storm 实时数据处理框架分析总结
cuilanbo的专栏
12-18 1035
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。实时数据处理的应用场景很广泛，如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初创建S4项目的直接业务需求就是为了在搜索引擎的‘cost-per-click’广告中，能根据当前情景上下文
twitter系统架构分析
shenjian58的博客
12-11 546
twitter系统架构分析（一）twitter的核心业务twitter的核心业务，在于following和be followed：（1）following-关注进入个人主...
ElephantDB安装与使用指南
gitblog_01102的博客
08-23 446
ElephantDB安装与使用指南 项目介绍 ElephantDB是一款专为大规模数据处理设计的键值存储系统，由Nathan Marz开发并维护。它特别适用于分布式环境下的大规模日志数据存储和查询场景。ElephantDB旨在提供高效的读取性能，支持MapReduce风格的处理流程，并且能够处理PB级别的数据。该库支持多种数据序列化格式，包括Apache Avro和Google Protocol ...
解剖Twitter：Twitter系统架构设计分析
zhjp4295216的专栏
11-04 1427
<br /><br />摘要: 随着信息爆炸的加剧，微博客网站Twitter横空出世了。用横空出世这个词来形容Twitter的成长，并不夸张。从2006年5月Twitter上线，到2007年12月，一年半的时间里，Twitter用户数从0增长到6.6万。又过了一年，2008年12月，Twit...<br />随着信息爆炸的加剧，微博客网站Twitter横空出世了。用横空出世这个词来形容Twitter的成长，并不夸张。从2006年5月Twitter上线，到2007年12月，一年半的时间里，Twitter用户数
ElephantDB：一个高效的Hadoop数据导出数据库
最新发布
gitblog_00724的博客
11-05 344
ElephantDB：一个高效的Hadoop数据导出数据库 项目基础介绍及主要编程语言 ElephantDB是一款专为从Hadoop环境中导出键值对数据而设计的分布式数据库。该项目由Nathan Marz发起，并在GitHub上开源。ElephantDB采用Clojure作为主要实现语言，同时涉及到Java、Python等其他语言，以支持不同的组件和接口。它的架构旨在处理大规模的数据集，并提供了一...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值