主要写大数据集群一线运维和学习工作经验

实时数据仓库的建设需要结合业务需求、技术选型、数据治理等多方面因素，其核心目标是实现低延迟、高吞吐、高可用的实时数据处理与分析能力。原始数据接入，通过CDC工具（如Debezium、Canal）或日志采集（Flume、Filebeat）写入消息队列（Kafka、Pulsar）。直接对接业务的高层指标（如实时大屏、API服务），存储于高性能OLAP数据库（ClickHouse、Doris）或缓存（Redis）。：Flink SQL/DataStream处理，利用状态管理（State）实现去重、窗口聚合。

6月29日，浦项中心B座本来是想当天就把这个写了的，但是因为各种原因拖到了今天，已经拖了3天了，拖延症真是个好东西拢共6个Topic：《Apache Flink 1.9 特性解读》 由这两张图可以看到出来，从架构上，DataSet API没了（注意：只是架构上没有了，用还是能用的），DataStream API和Table API & SQL并列在了一层，...

Table of ContentsPulsar的概念和术语数据分区数据完整性保证（简述）在生产环境的应用总结Apahce Pulasr是一个企业级的发布-订阅消息系统，最初是由雅虎开发，主要应用于雅虎邮件、金融、体育、Flickr、Gemin广告平台，以及雅虎的分布式key-value存储。Pulsar的概念和术语将数据输入Plusar的应用程序称为生产者，而使用P...

重点介绍Pulsar的关键特性。在之前的博客文章中，我们介绍了几个Pulsar的概念和术语。Pulsar集群由一组brokers和bookies以及用于协调和配置管理的Apache ZooKeeper集合组成。broker是接收、存储和传递消息的组件。bookies来自Apache BookKeeper，它为消息提供持久存储，直到消息被使用。架构图：灵活的消息传递模型有两种传统的消...

消息模型是用户在选择流消息系统时应该考虑的第一件事。消息传递模型应该涵盖以下3个领域：消息消费：如何分发和消费消息 消息确认：如何确认消息 消息存储：消息保留多长时间，消息删除的触发机制，如何删除消息消费方式在现代实时流架构中，消息传递案例可以分为两类：队列和流。队列队列是无须的或共享的消息。使用队列消息传递，可以创建多个消费者来从点对点消息传递通道接收消息。当通道传递消息时，...

6月30号下午，恒通国际C8（798北边的一个创新园），迟到了十几分钟，大太阳有点晒 阿里云有关实时计算的沙龙，也就是阿里云产品的介绍和宣传（理解的有点露骨，虽然目前我还没有用到阿里的云产品，但是光是看着就觉得很好，至少对于我这样的实时计算小白来说）这个活动有4个Topic：《Flink在人脸识别实时业务中的应用》 人脸识别相关技术在工作中我还没有...