- 博客(6)
- 收藏
- 关注
RSS订阅原创 Kafka顺序写+零拷贝的高性能读写架构原理
Apache Kafka是一个分布式流处理平台，广泛应用于实时数据处理场景。在电商平台的实时数据架构中，Kafka主要扮演了数据传输和集成的角色。数据采集：Kafka可以用作日志收集系统，将电商平台各个组件产生的日志和数据实时收集，包括用户行为、订单、支付、评论等信息。这些数据在进入Kafka之后，可以被实时处理、分析和存储。数据缓冲：Kafka能够处理大量数据流，它提供了一个缓冲层，将不同数据源产生的大量实时数据暂存起来。这有助于应对数据源速度波动，保证了数据处理和分析的稳定性。
2023-04-17 19:44:12
994
原创 kafka是如何通过精心设计消息格式节约磁盘空间占用开销的
Kafka是一个分布式流处理平台，主要用于大规模消息传递和数据处理。Kafka通过精心设计的消息格式和存储结构实现了节约磁盘空间占用的目标。
2023-04-17 18:42:57
327
原创 对于海量数据场景，如何驱动kafka技术的思路
在日处理海量数据的场景下，使用Kafka作为消息队列可以实现高吞吐量、可伸缩性、低延迟和可靠性。为了充分利用Kafka技术，可以采用以下驱动的思路........
2023-04-17 16:27:18
501
1
原创 微服务治理设计与实践
当项目系统到了一定的成熟度，业务庞大且稳定的程度后，往往会引入一些服务治理的技术。我们希望能够更好管理我们的系统。往小了说可以小到异常码的异常治理。系统在线上生产环境出现了各种各样异常的时候，我们如果对异常进行处理呢？别人如何来理解我的系统发生的异常呢？往大了说到链路追踪和日志治理:定位线上业务故障、性能低、丢数据。甚至我们需要一个监控系统对系统的各项指标进行监测：硬件层面的cpu、内存。JVM层面的fullGC频率、业务接口调用频率。............
2022-07-23 14:09:31
446
原创 Log4j2最强的AsyncLogger！
AsyncLogger可以提高系统的性能，因为它可以在一个独立的线程里执行一个写磁盘的IO。Log4j2在这一块做了很多的优化。Asynchronous Loggers是log4j2里面附加的一个新功能，他的目的就是通过Logger.log往系统里面异步打日志。当然你也可以很容易的去配置异步日志与同步日志混合执行。............
2022-07-19 23:20:00
5058
原创 Log4J2官方文档学习实践
Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIXSyslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。最令人感兴趣的就是，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。...........................
2022-07-18 22:42:15
1655
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人