流式计算storm，spark文章

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 424平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄10年

关注

原创最新推荐文章于 2026-09-08 13:07:18 发布 424 阅读 AI 写同款· GEO 优化 ›

流式计算产品对比(Storm、Trident、Spark Streaming、Flink）产品模型 API 保证次数容错机制状态管理延时吞吐量成熟度 Strom Native 组合式 At-least-once Record ACKs 无 Very Low Low High Trident mirco-batching 组合式 Exectly-once Record ACKs 基于操作的阅读详情

使用Storm实现实时大数据分析！ http://www.youkuaiyun.com/article/2012-12-24/2813117-storm-realtime-big-data-analysis 主要讲strom组件。

strom集群安装 http://www.jianshu.com/p/0f6cbb4042ad?utm_campaign=hugo&utm_medium=reader_share&utm_content=note&utm_source=qq

spark系列 http://www.cnblogs.com/shishanyuan/p/4699644.html 包含spark几乎所有的知识

收录于

Hadoop

当前文章被收录于：

Hadoop

13 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#大数据 #流式计算 #storm

storm架构原理及集群部署 Storm 流式计算 1. 概念 1.1 离线计算和实时计算离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、zookeeper任务调度 1、hivesql 2、调度平台 3、Hadoop集群运维 4、数据清洗（脚本语言） 5、元数据管理 6、数据稽... 阅读详情

相关推荐

实时计算——聊一聊我所经历的计算框架

在聊实时计算之前，先说一下我对离线和批量、实时和流式的一些看法。我们首先来简单看一下计算任务的大致流程：首先先说下批量计算和流式计算：图中显示了一个计算的基本流程，receiver处负责从数据源接收数据，并发送给下游的task，数据由task处理后由sink端输出。以图为例，批量和流式处理数据粒度不一样，批量每次处理一定大小的数据块（输入一般采用文件系统），一个task处理...

等风等雨等你 1684

Spark Streaming 流式计算实战

这篇文章由一次平安夜的微信分享整理而来。在Stuq 做的分享，原文内容。业务场景这次分享会比较实战些。具体业务场景描述：我们每分钟会有几百万条的日志进入系统，我们希望根据日志提取出时间以及用户名称，然后根据这两个信息形成 userName/year/month/day/hh/normal userName/year/month/day/hh/d...

allwefantasy的专栏 262

大数据之Spark（九）：Spark Streaming 概述

一、流式计算简介 1.1 流式计算理解流式计算，最形象的例子，就是小明的往水池中放(入)水又放(出)水的案例。流式计算就像水流⼀样，数据连绵不断的产生，并被快速处理，所以流式计算拥有如下⼀些特点：数据是无界的(unbounded) 数据是动态的计算速度是非常快的计算不止一次计算不能终⽌反过来看看⼀下离线计算有哪些特点：数据是有界的(Bounded) 数据静态的计算速度通常较慢计算只执行一次计算终会终止在大数据计算领域中，通常所...

Oak_Komorebi的博客 1781

Spark系统与开发--2019-- zzti---期末考试

PDF格式传送门：点这里提取码: 1skf 本试卷共 8 页，此页为 A 卷第 1 页（注：参加重修考试者请在重修标识框内打钩） 2018～2019 学年第 2 学期软件学院专业课程期末试卷题号一二三四五六七八九十总分说明： 1.考试为闭卷笔试，考试时间共 120 分钟。 2.考试题答案请填写到答题卡内，交卷时试卷和答题卡均要上交。 ...

风吹屁屁凉 4606

全面解析流式大数据实时处理技术、平台及应用

一、引言 大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。目前主流的大数据处理技术体系主要包括hadoop及其衍生系统。Hadoop技术体系实现并优化了MapReduce框架。Hadoop技...

程序之道的博客 1万+

实时处理与流处理

前言：作为一个程序员，总是能不时地听到各种新技术名词，大数据、云计算、实时处理、流式处理、内存计算… 但当我们听到这些时髦的名词时他们到底是在说什么？偶然搜到一个不错的帖子，就总结一下实时处理和流式处理的区别吧。正文：要说实时处理就得先提一下实时系统(Real-timeSystem)。所谓实时系统就是能在严格的时间限制内响应请求的系统。例如如果某系统能严格保证在10毫秒内处理来自网络的NASDAQ

西代零零发 1万+

【hadoop期末复习】第十章 Spark 超详细讲解

** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分：【简单】学习通习题【进阶】课本课后练习【操作】相关章节实验回顾最后一章了，大家加油！学习通 - 习题 1. Spark SQL目前暂时不支持下列哪种语言 A.Java B.Scala C.Python D.Lisp 我的答案：D 解析： Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言 2. RDD操作分为转换（Transformation）和动作（Action）.

onion23的博客 4744

亿级用户背后的字节跳动云原生计算最佳实践

字节跳动的大数据业务和底层运算能力近年来发展迅速，本文介绍了字节跳动在流式计算和批式计算方面的重大演进以及最佳实践。

字节跳动云原生计算官方账号 636

Hadoop、Storm和Spark 三者的区别、比较

一、hadoop和Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题： 1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop适合什么场景，什么情况下使用hadoop 4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。...

az44yao的专栏 7085

从Storm和Spark 学习流式实时分布式计算的设计

0. 背景最近我在做流式实时分布式计算系统的架构设计，而正好又要参加优快云博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量不够。因此，我将最近一直在做的系统架构的思路整理出来，形成此文。为什么要参考Storm和Spark，因为没有参照效果可能不会太好，尤其是对于Storm和Spark由了解的同学来说，可能通过对比，更能

GY的的专栏 2030

流式计算中的人工智能和机器学习平台

作者：禅与计算机程序设计艺术 1.简介随着业务数据越来越多，需要实时处理的数据也越来越多，传统的基于批处理的方式已经无法满足实时的需求。所以出现了流式计算系统。流式计算系统采用了低延迟、高吞吐量的特点，可以快速响应用户输入请求，对实时事件进行分析处理。基于流式计算的业务系统一般包含三层结构：前端、消

AI天才研究院 1532

Spark Streaming 新手指南（原始文章已经发布表在IBM Developworks）

本文首先通过运行 Spark Streaming 自带的 WordCount 示例开始带领读者进入 Spark Streaming 领域，然后再对 WordCount 代码逐条解释，逐渐让读者了解 DStream 等 Spark Streaming 特有组件定义，最后对 Spark Streaming 的一些特性、优点、缺点进行总结。

8356

labview的TDMS文件读写

本文先介绍TDMS概念和文件结构，然后介绍VI如何使用，最后分析一个labview的自带范例

观则明的博客 1万+

新一代流式计算框架在金融行业的应用

大数据时代，数据计算已经渗透到了各行各业。业务沉淀数据，数据计算产生新的业务价值，数据计算正不断地用这种方式推动业务向前发展。大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)等，分别适用于不同的大数据应用场景。对于先存储后计算，实时性要求不高，同时数据规模大、计算模型复杂的应用场景，更适合使用批量计算。对于无需先存储，可以直接进行数...

weixin_34092455的博客 481

手持式激光测距仪全套方案

激光测距全套方案，包括原理图、源代码、PCB、BOM、光学部分资料，结构、特殊元件数据手册及供应商联系方式，提供调试技术文档。全套方案已成功打板验证，实现0.05~50m测量范围，精度在+/—1.5mm，激光波长635~650nm，功率《1mW。方案预留了TTL串口、RS485接口，可通过串口助手看到测量数据，可自行DIY或者商业开发。无论是电路小白，还是技术大拿，都能通过方案资料成功做出一套激光测距仪。

Laser01的博客 2055

ANSYS/ANSYS Workbench生成mnf文件导入到Adams相关问题浅显解释

ANSYS/ANSYS Workbench生成mnf文件导入到Adams相关问题浅显解释。

weixin_45551870的博客 6984

Spark Streaming

Spark Streaming 流式计算流式计算拥有的特点：数据是⽆界的(unbounded) 数据是动态的计算速度是⾮常快的计算不⽌⼀次计算不能终⽌离线计算的特点：数据是有界的(Bounded) 数据静态的计算速度通常较慢计算只执⾏⼀次计算终会终⽌流式计算分为了实时计算和准实时计算实时计算就是来⼀条记录(⼀个事件Event)启动⼀次计算；⽽准实时计算则是介于实时计算和离线计算之间的⼀个计算，所以每次处理的是⼀个微⼩的批次。常⻅的离线和流式计算框架

leezsj的博客 626

计数译码驱动显示电路实验报告_京东方G0A电路、阵列基板、显示装置及驱动方法广州威彩...

图1、实施例二所述的选择子单元的结构示意图图2、实施例四所述的GOA电路结构示意图图3、实施例七所述的阵列基板的局部结构示意图图4、实施例所述的极性反转驱动方法的第一场的各信号时序图图5、实施例所述的极性反转驱动方法的第二场的各信号时序图图6、实施例所述的极性反转驱动方法的第三场的各信号时序图图7、实施例所述的极性反转驱动方法的第四场的各信号时序图图8、为图4所示时序下,实施例八所述显示...

weixin_35696112的博客 925

Spark 概述

Spark 是什么？ ● 官方文档解释：Apache Spark is a fast and general engine for large-scale data processing. 通俗的理解：Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark 部署在大量廉价硬件之上，形成集群...

努力的凹凸曼的博客 390

ROS小车定位实战：如何用rf2o_laser_odometry和robot_localization实现精准里程计（附避坑指南）

本文详细介绍了如何利用rf2o_laser_odometry和robot_localization在ROS中实现高精度小车定位。通过激光里程计与状态估计的黄金组合，解决室内移动机器人的定位难题，包括环境搭建、算法配置、多传感器融合策略及实战避坑指南，帮助开发者快速部署稳定可靠的定位系统。

weixin_29081703的博客 287

2026软件测试面试题全解析：从用例设计到接口自动化与性能实战

在软件测试岗位的招聘考察中，面试官越来越看重候选人解决实际问题的工程能力，而不仅仅是背诵概念。从最基础的测试用例设计出发，覆盖功能测试、接口测试、自动化测试、性能测试、数据库与Redis一致性等核心知识体系，是应对中高级岗位面试的关键路径。理解Postman抓包、Python脚本、Pytest框架、JMeter压测指标背后的原理，能帮助测试人员构建完整的质量保障思维。当AI辅助测试成为行业新趋势时，掌握数据校验链路与风险识别意识，更能体现资深测试工程师的竞争力。本文围绕2026年高频软件测试面试题，梳理了从

weixin_28676289的博客 245

上一篇： mysql索引优化建议

下一篇： no device found for connection ‘ System eth0′问题

实时计算——聊一聊我所经历的计算框架

等风等雨等你

12-19

1684