- 博客(6)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Kafka高性能架构设计
1、概述Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟，让我们一起探究Kafka各种精巧的设计。2、Kafka高性能分析1、Kafka系统架构上图是Kafka的架构图，Producer生产消息，以Partition的维度，按照一定的路由策略，提交消息到Broker集群中各Partition的Le
2021-04-02 17:56:27
194
原创 Kafka高可用架构设计
1.高可用概述高可⽤性(High Availability)，指系统无间断地执⾏其功能的能力，代表系统的可⽤性程度。Kafka从0.8版本开始提供了高可⽤机制， 可保障⼀个或多个Broker宕机后，其他Broker及所有Partition都能继续提供服务，且存储的消息不丢失。对分布式系来说，当集群规模上升到一定程度后，一台或者多台机器宕机的可能性⼤大增加;Kafka采⽤多机备份和消息应答确认方式解决了数据丢失问题，并通过一套失败恢复机制解决服务不可⽤问题。2.消息备份机制2.1 消息备份Kafka
2021-04-01 21:07:38
342
原创 缓存策略
1. Cache Aside（旁路策略）正确姿势如下步骤读取数据流程从缓存中读取数据；如果缓存命中，则直接返回数据；如果缓存不命中，则从数据库中查询数据；查询到数据后，将数据写入到缓存中，并且返回给用户。更新数据流程更新数据库中的记录；删除缓存记录。下面是一些可能出现的一些一致性问题： 先更新数据库，再更新缓存 先删除缓存，再更新数据库 先更新数据库，删除缓存（此问题出现概率很低，因为缓存速度远远大于数据库） Cache Aside 是我们在使用分布式缓存时最常用的策
2021-03-27 22:03:19
139
原创 Java GC日志分析
1. 查看GC日志准备-XX:+PrintGC 输出GC日志-XX:+PrintGCDetails 输出GC的详细日志-XX:+PrintGCTimeStamps 输出GC的时间戳（以基准时间的形式）-XX:+PrintGCDateStamps 输出GC的时间戳（以日期的形式，如 2013-05-04T21:53:59.234+0800）-XX:+PrintHeapAtGC 在进行GC的前后打印出堆的信息-Xloggc:../logs/gc.log 日志文件的输出路径2. 年轻代GC日志201
2021-03-26 19:47:19
179
原创 centOS6.5免秘钥登陆
1.$ vi /etc/ssh/sshd_config 找到以下内容，并去掉注释符”#“ RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys2.service sshd restart3.生成证书公私钥的步骤：
2014-12-09 13:25:57
503
用solr,lucene架构实现全文搜索并添加到已有项目
2016-04-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人