storm-user note

最新推荐文章于 2025-12-14 18:42:11 发布
原创 最新推荐文章于 2025-12-14 18:42:11 发布 · 94 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #ui

本文详细介绍了Apache Storm中的关键概念和技术特性，包括消息重发机制、协调Bolt的工作原理、与Hadoop结合进行分布式计算的方法、如何诊断长时间延迟的问题、UI中Acker的状态指示、状态Spout及事务功能的应用，以及Zookeeper连接丢失异常的处理。

About resend message:

http://groups.google.com/group/storm-user/browse_thread/thread/c5f06d757a51e0eb

 

About CoordinatedBolt:

http://groups.google.com/group/storm-user/browse_thread/thread/4521313e919d6561

 

About Storm&Hadoop / Distributed Calculate

http://groups.google.com/group/storm-user/browse_thread/thread/4f9690a53ec0f2ca

 

About how to get the reason of long-latency 

http://groups.google.com/group/storm-user/browse_thread/thread/8efc088b8b1c5aca

http://groups.google.com/group/storm-user/browse_thread/thread/2d801dd33c0c175b

 

About how the acker in UI indicates

http://groups.google.com/group/storm-user/browse_thread/thread/8087d1da94e84655

 

About statespout and transaction feature

http://groups.google.com/group/storm-user/browse_thread/thread/8f4e84bb08276734

 

About zookeeper connectionlossexception

http://groups.google.com/group/storm-user/browse_thread/thread/363c4ceba1de3485/6a834b8358468a9a#6a834b8358468a9a

 

About spout acker fail

http://groups.google.com/group/storm-user/browse_thread/thread/e473d9c65416c223#

 

 

flyicewolf
关注
ELK 企业级日志分析系统
hanyi_qwe的博客
12-14 740
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。ELK 是LogstashKibana的缩写，这三个工具组合在一起，用于数据收集、存储、搜索和可视化分析。Elasticsearch：核心搜索和分析引擎，负责存储数据并提供快速的全文搜索和分析功能。
从 “人工标注” 到 “AI 驱动”：数据分类分级技术的效率革命
KKKlucifer的博客
12-11 520
在数据安全与合规治理常态化的今天，数据分类分级已成为企业筑牢数据安全防线的 “第一道关口”。传统人工标注模式下，企业需投入大量人力梳理海量数据，不仅耗时耗力、成本高昂，还存在标注标准不统一、遗漏率高、难以适配动态业务场景等痛点。随着 AI 技术与数据治理的深度融合，正掀起一场效率革命，实现从 “人治” 到 “智治” 的跨越，为企业数据安全治理注入全新动能。
java高并发高可用场景解决方案
Liaka的博客
12-10 886
相信大部人初级开发跟我一样，平时接触不到什么高并发场景，虽然也能花心思做，但总是受困于杀鸡用牛刀或工资配不上努力或没时间等。故本人整理一份分场景的高并发解决方案，也会包括高可用场景。
Java Stream 数据处理笔记：从嵌套集合中过滤特定类别的Map
DolphinHome的博客
12-09 523
扁平化嵌套结构：使用flatMap将转换为Stream<T>过滤条件放置：在收集前进行过滤，避免处理不必要的数据空值安全：多层空值检查防止NPE性能优化先过滤后映射大数据量使用并行流使用合适的Map实现（如用于并行流）冲突处理：指定合并函数处理键冲突通过以上方法，您可以高效地从复杂嵌套结构中提取并过滤特定类别的数据，构建所需的Map结构。这种模式在实际项目中非常常见，掌握这些技巧能显著提升代码质量和开发效率。
kakfa文件清理策略方法和种类
2301_80954266的博客
12-14 424
两者结合可提供更全面的保障。Kafka 中默认的日志（这个地方是数据的意思，就是Segment）保存时间为 7 天，可以通过调整如下参数修改保存时间。--如果设置了该值，小时的设置不起作用。--如果设置了该值，分钟的设置不起作用。Kafka 允许同时配置基于时间和基于大小的策略。log.retention.hours，最低优先级小时，默认 7 天。查看分区日志大小和最早/最新偏移量）来监控清理策略的执行情况。好的，我们来详细说明 Kafka 的文件清理策略方法和种类。两种日志清理策略，可以单独或组合使用。
windows10 上安装 elasticsearch
恒
12-11 781
注意到配置 kibana 访问 ES 采用的是 kibana_system 账号，而不能是 elastic 账号。kibana_system 是 ES 自动设置的服务于kibana 的账号。Kibana是Elasticsearch的可视化管理工具 —— ELK 的 K。假设 ES 集群名：sqldam ，可以支持单节点实例和多节点实例。你可以部署为单机单节点，单机多节点，多机多节点。安装最新的 es 和 kibana。Windows 上目录配置项使用的 “/” 或 “” 都不是随意的，请严格按照本文设置。
Spring Boot 4 整合46篇教程，Spring Boot 4 企业级项目开发完整实践指南
架构师专栏
12-09 1139
兄弟们，鹏磊我这次整了个大活,把 Spring Boot 4 的整合教程都给你整理出来了，一共 46 篇，从基础框架到云原生部署，该有的都有了。
Spring Boot + Easy-ES 3.0 + Easyearch 实战：从 CRUD 到“避坑”指南
铭毅天下Elasticsearch
12-09 929
Easy-ES 3.0.0 虽然简化了配置，但对 ES 客户端版本的兼容性依然有要求。（简称 EE）作为 ES 界的“MyBatis-Plus”，凭借其强大的 ORM 能力和简洁的 API，正在成为许多 Java 开发者的首选。：Windows 终端默认 GBK，而 Maven 和 Java 都在用 UTF-8，编码不一致导致“鸡同鸭讲”。：Windows PowerShell 下跑 Maven 测试，日志里的中文全是乱码，根本看不懂报错信息。代码写完了，一运行测试用例，往往才是噩梦的开始。
scala 介绍
2501_94155965的博客
12-11 1440
Scala（Scalable Language，可扩展语言）是一门，由瑞士洛桑联邦理工学院（EPFL）的 Martin Odersky 于 2001 年设计，核心目标是融合和的优势，同时兼顾代码的简洁性、可扩展性和高性能，广泛应用于大数据、后端开发、分布式系统等领域。
Flink对于迟到数据的处理
huanfeng_AI的博客
12-09 95
Flink作为一个流式处理框架，最重要的就是要处理好迟到的数据，保证数据的准确性，本文就来系统学习一下FLink框架针对于迟到数据的处理。
Spark SQL 深度优化实战指南：从原理到生产的完整方法论
云祁QI
12-10 1094
哈喽，我是云祁，好久不见～ 今天和大家聊聊 Spark SQL 优化，结合深度扩展的经验，增加了原理剖析、生产实践案例、性能对比数据和系统化诊断方法。错误 3：org.apache.spark.shuffle.FetchFailedException。：某电商公司的日志分析任务，数据量从凌晨的 100GB 到晚上的 2TB 波动巨大。：Spark SQL 的优化不再是简单的"调参游戏"，而是需要理解。：某互联网公司的用户行为分析，两张 10TB 的表 Join。
ElasticSearch 教程入门到精通，倒排索引，文档搜索，文档刷新合并，文档分析，文档控制，文档展示，笔记43、44、45、46、47、48
Rockandrollman的博客
12-09 509
ElasticSearch 教程入门到精通，倒排索引，文档搜索，文档刷新合并，文档分析，文档控制，文档展示，笔记43、44、45、46、47、48
Flink SQL 的 LIMIT 子句语义、坑点与实战技巧
hello.reader
12-11 1147
Flink SQL中的LIMIT子句用于限制SELECT语句返回的行数，通常与ORDER BY配合使用以确保结果确定性。在批处理模式下，LIMIT单独使用时仅截断结果行数，不保证顺序；配合ORDER BY可实现精确的TopN查询。流处理模式下，由于数据无限性，全局LIMIT不现实，需改用窗口函数结合ROW_NUMBER实现局部TopN。性能方面，LIMIT本身开销小，但ORDER BY全量排序成本高。实际应用中，除数据预览外，建议所有LIMIT都搭配ORDER BY使用。
Spark MLlib 基础统计模块相关性、卡方检验与向量汇总
hello.reader
12-11 591
本文介绍了Spark MLlib中的三种基础统计工具：相关性分析（Correlation）、卡方检验（ChiSquareTest）和特征摘要（Summarizer）。相关性分析用于计算特征间的Pearson或Spearman相关系数矩阵，帮助识别冗余特征；卡方检验用于判断离散特征与标签的统计相关性；Summarizer可快速计算向量特征的均值、方差等统计量。这些工具能有效支持特征工程和数据分析，如特征筛选、多重共线性检查等，并可通过权重参数处理特殊样本。合理运用这些统计方法，能够提升机器学习模型的特征质量和
ElasticSearch8 java api子聚合写法
kanyun123的博客
12-09 707
可以发现Es8的聚合，是通过Aggregation类的静态of方法来创建的，而其子聚合则需要创建在其父类聚合内部，因此再形成子聚合嵌套时，需要保证所有的聚合，子聚合依赖关系清楚，最终在一个大的模块下，形成最终的聚合代码。因此在升级ElasticSearch服务端版本后，需要大量更新客户端的代码，几乎所有的API都发生了变化，相对来说，查询的API相对好写一些，而聚合的API变化很大，尤其是嵌套了很多层的子聚合。2.如果子聚合是可选的，比如满足某个条件再加入子聚合，这个时候这种写法就会有问题了。
seata事务集成kafka
qingwei201314的专栏
12-11 202
方法可以加@Transactional本地事务注解，也可以加@GlobalTransactional全局事务注解。seata事务或本地事务，完成commit后，发送kafka消息；如果事务回滚，不发送消息。
深入理解Elasticsearch内部线程池：类型与核心作用解析
最新发布
u013127325的博客
12-14 333
ES内部线程池是集群并发能力的核心支撑，其通过“基础类型+专用场景”的分层设计，实现了任务的高效调度与资源隔离。从缓存线程池的临时任务处理，到固定线程池的核心业务支撑，再到search、bulk等专用线程池的场景化优化，每种线程池都有其不可替代的作用。对于ES开发者与运维人员而言，理解线程池的类型与作用，不仅能帮助快速定位性能问题（如线程池拒绝导致的请求失败），更能通过合理调优让集群发挥出最佳性能。线程池的优化本质是“资源与业务的匹配”，只有结合实际业务场景与硬件资源，才能让ES的并发能力最大化。
地方产投集团数字化平台建设实战：从内控管理到决策赋能（璞华公开课第5期活动回顾）
璞华PURVAR
12-10 547
本次活动深度聚焦“十四五”时期产投集团数字化转型的核心命题，以“募投管退”全业务链路为核心，通过“理论解析+实操演示+案例分享+互动答疑”的立体化内容体系，为行业提供了可复制、可落地的数字化转型解决方案，吸引了众多地方产投集团、股权投资机构及行业专业人士参与。本次公开课的成功举办，不仅为地方产投集团搭建了高质量的交流平台，更通过系统化的内容设计与实战化的呈现方式，为行业描绘了清晰的数字化转型路径图。覆盖基金、项目、经营、人员等多维度风险，建立实时预警与动态追踪机制，实现风险闭环管理。
Kafka 集群上云新突破：腾讯云 CKafka 联邦迁移方案
qq_36668144的博客
12-10 707
当前版本方案在迁移完成后，仍需客户手动切换接入点，对于部分全量切换的客户而言，盘点 Kafka 集群的上下游的接入情况，修改接入点并重启是异常困难的。本文主要介绍自建 Kafka 集群平滑无损上云的场景，腾讯云 CKafka 联邦集群迁移方案支持通过将自建 Kafka 集群与云上 CKafka 集群构建成一个逻辑统一的联邦集群，实现平滑无损的集群迁移。通过自建 Kafka 集群的信息，腾讯云联邦工具会将 CKafka 集群与自建集群构建成联邦集群，同一个联邦集群内的节点可互相通讯。
storm-control action block storm-control broadcast min-rate 250 max-rate 500
07-31
在 Cisco 交换机上配置 `storm-control` 命令可以有效防止广播、组播或未知单播流量引发的网络风暴，从而提升网络的稳定性。要限制广播流量并设置阻塞（block）动作为响应，需在接口配置模式下进行以下操作。 配置...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值