大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

详解RabbitMQ高级特性之TTL 详解RabbitMQ高级特性之TTL。

阅读 2.7k

128赞

Java 大视界 -- Java 大数据机器学习模型在金融反洗钱交易模式识别与风险预警中的应用（319）本文基于 Java 大数据与机器学习技术，结合国有银行实际案例，详细阐述金融反洗钱系统中交易模式识别与风险预警的全流程解决方案，提供完整可运行代码与深度技术细节。

阅读 1.4k

65赞

详解RabbitMQ高级特性之延迟队列详解RabbitMQ高级特性之延迟队列（基于TTL+死信队列实现延迟队列）。

阅读 1.8k

83赞

史上最全Flink面试题(完整版) Flink是一个分布式流处理框架，支持对有界和无界数据流进行状态计算。其核心特点包括流批一体化、事件驱动模型、高性能低延迟、容错机制和灵活编程模型。Flink采用Source→Transformation→Sink的编程模型，运行架构包含JobManager、TaskManager和Client三种角色。 Flink提供多种时间语义（事件时间、注入时间、处理时间）和窗口类型（滚动、滑动、会话窗口），并引入Watermark机制处理乱序数据。其容错机制基于Checkpoint和State实现，支持Exactl

阅读 1.1k

16赞

如何封装一个线程安全、可复用的 HBase 查询模板本文探讨了如何封装一个线程安全、可复用的 HBase 查询模板。通过引入基于 AtomicReference 的连接懒加载机制和函数式接口封装查询执行逻辑，本文提供了一种高效的 HBase 查询解决方案。文章详细阐述了 HBase 连接池的实现、查询模板的设计与优化，以及如何在实际业务中应用这些技术。通过完整的案例演示，本文帮助开发者解决 HBase 查询中的常见问题，提高系统性能和可维护性。

阅读 1.2w

121赞

码农阿豪@新空间

深入解析 systemd 服务启动失败问题：以 Kafka 服务为例如何分析systemd服务失败日志。排查 Kafka 服务崩溃的常见原因（如配置错误、资源不足）。优化systemd单元文件和启动脚本。预防类似问题的措施（如日志管理、资源限制）。systemd服务管理虽然强大，但必须正确配置才能稳定运行。希望本文能帮助你在遇到类似问题时快速定位和解决！🚀附录：相关命令速查命令用途查看服务状态查看服务日志查找进程检查端口占用ulimit -n查看 FD 限制参考资料systemd.service 官方文档Kafka 官方配置指南。

阅读 1.4w

75赞

Java 大视界 -- Java 大数据在智能安防周界防范系统中的智能感知与自适应防御（333）本文基于 12 个国家级安防项目，详解 Java 大数据在周界防范中的应用。通过多源数据融合、实时异常检测、自适应防御策略，实现误报率 7%、漏报率 2%，响应时间 90 秒，提供可复用的 Java 代码与实战方案。

阅读 1.6k

46赞

沉默的大羚羊

构建高效日志流处理系统：Log4j2与Kafka的结合 htmltable {th, td {th {pre {简介：在分布式系统中，日志管理和分析是关键。本课程深入探讨了如何利用Log4j2强大的日志记录功能和Kafka高效的实时数据流处理能力来构建一个高效的日志流处理系统。Log4j2的插件架构和异步日志记录提升性能，而Kafka的分布式特性提供高吞吐量和低延迟的消息系统。

阅读 817

13赞

Kafka可视化工具KafkaTool工具的使用选择一个Topic —> Data —>Retrieve Messages，Key/Message设置展示格式，点查询即可看到数据。Messages选择Newest，查看最新的Kafka数据；列表每列都可以通过点击表头，进行升序或者降序排序。

阅读 5.0k

8赞

【大数据】计算引擎：Spark核心概念十分钟，一文讲明白复杂抽象的Spark核心概念。

阅读 4.4k

73赞

CDA数据分析师-前沿资讯

大数据专业主要学什么大数据专业的学习内容丰富多样，既包括扎实的理论基础，也强调实践技能的培养。通过系统学习，学生将具备解决复杂工程问题的能力，并能在大数据分析、系统开发等领域从事相关工作。无论是基础课程、核心技术，还是跨学科知识，大数据专业都为学生提供了全面的发展平台，帮助他们在数据驱动的时代脱颖而出。无论你是刚刚入门的新手，还是希望深入研究的专业人士，选择大数据专业都将为你的职业生涯带来广阔的前景。

阅读 1.0w

16赞

【安装指南】Centos7 在 Docker 上安装 RabbitMQ4.0.x 安装完 RabbitMQ 插件之后，需要重启 RabbitMQ 服务才能生效。此步骤可选（非必须），因为某些版本下通过程序创建延迟交换机可能会出错。1. 在 RabbitMQ 服务器上安装延迟队列的插件，并重启 RabbitMQ 服务。2. 编写延迟消息代码，实现延迟队列的功能。

阅读 1.6k

21赞

RabbitMQ 添加新用户和配置权限以下是关于使用 `sudo rabbitmqctl add_user` 命令创建新用户的详细示例，同时包含创建用户后进行权限设置、角色设置等相关操作的示例。命令中的三个 `".*"` 分别对应配置权限、写入权限和读取权限的正则表达式，`".*"` 表示匹配所有内容。可以为用户设置不同的角色，以赋予其不同级别的管理权限。确保你的 RabbitMQ 服务已经正常运行，并且你具有执行 `sudo` 命令的权限。执行成功后，输出如下：将用户“alice”的标签设置为[管理员]。

阅读 1.1k

9赞

重庆小透明

【从零学习Rabbitmq第三篇】消费可靠性和延迟消息和业务米让你了解什么叫消费者可靠性并如何保障，了解业务幂等性和延迟消息

阅读 966

27赞

Prometheus + Grafana 监控 RabbitMQ 实践指南在微服务架构中，消息队列作为关键组件，其性能和状态直接影响系统稳定性。Prometheus + Grafana 作为流行的开源监控解决方案，能够高效监控 RabbitMQ 的运行状态。本文将详细介绍如何使用 Prometheus 和 Grafana 实现对 RabbitMQ 的可视化监控。通过 Prometheus + Grafana 实现对 RabbitMQ 的可视化监控，可以帮助我们实时了解 RabbitMQ 的运行状态和性能指标。

阅读 1.4k

29赞

RocketMQ--为什么性能不如Kafka？本文介绍RocketMQ为什么性能不如Kafka？阿里中间件团队对它们做过压测，同样条件下，kafka 比 RocketMQ 快 50% 左右。为什么 RocketMQ 参考了 Kafka 的架构，却不能跟 kafka 保持一样的性能呢？

阅读 842

22赞

【Kafka 初学】为什么启动 Kafka 前必须先启动 Zookeeper 问题说明Kafka 为何要用 Zookeeper？元数据、选举、同步都交由 Zookeeper 管理没启动 Zookeeper 会怎样？Kafka 无法注册、初始化，报错关闭启动顺序正确姿势？✅ 先 Zookeeper，再 KafkaKafka 会放弃 Zookeeper 吗？正在推进 KRaft，但目前仍以 Zookeeper 为主。

阅读 988

10赞

蓝色的猴子

RabbitMQ 2.应用解耦：当应用中有订单系统，库存系统，物流系统，支付系统，当一个用户创建一个订单，如果耦合的调用支付，库存，物流系统，当某个系统处理问题，会导致下单失败，但是如果转为基于消息队列方式后，问题就会减少很多，如果物流系统出现问题，需要修复，在这个时间中，物流系统处理内存会被缓存在消息队列，用户可正常下单，等物流系统回复之后，就继续处理订单信息，而这个过程中用户感受不到物流系统出现异常。1.简单模式：一个生产者向一个队列发送消息，该队列负责消费消息，这也是最简单模式。缺点：支持的客户端不多。

阅读 982

19赞

作者推荐

梦想画家: 开源软件爱好者，乐于博客分享，业余时间喜欢跑步和科幻，希望与意趣相投朋友一起学习交流。

关注

珹洺: 纵有疾风起，人生不言弃！

关注

Allen_Lyb: 电子工程副高、高级架构师、信息系统项目管理师。主持项目获国家三等奖/自治区一/二等奖各两次,论文(含会议)、软著合计31篇/项，专业领域：数智化医院、智算项目及医疗机器人前沿。

关注

在未来等你: 如果所有的付出都没有回报，那还让我怎么坚持

关注

程序员小假: 我是小假期待与你的下一次相遇

关注

喝醉酒的小白: 怕什么真理无穷，进一寸有进一寸的欢喜。

关注

500佰: 公众号：农村程序员500佰，开发代码库：https://gitee.com/wubaidev

关注

viperrrrrrr: 用力所能及，改变世界。

关注

不剪发的Tony老师: 《SQL编程思想》作者，Oracle OCP，MySQL OCP，PostgreSQL ACE。

关注

瀚高PG实验室: 瀚高PG实验室（Highgo PG Lab）依托于瀚高DBA运维团队及瀚高数据库PG内核研发团队，旨在深入研究PostgreSQL技术、使用技巧、内核探秘、PG教学等，并进行分享。欢迎大家关注、交流。

关注