
中间件
仲尼叔叔
个人博客地址:http://karma520.com
展开
-
如何使用canal解决mysql与redis数据一致性问题?
问题;如果数据库数据发生了变化,如何将变化的数据同步给redis?1.直接删除redis缓存,见代码2.基于MQ形式实现同步(略)3.基于canal订阅binlog二进制文件,通过mq实现异步同步基于canal订阅binlog同步原理:1.canal服务器伪装成mysql的从节点,订阅mysql 的binlog二进制文件2.当mysql主节点binlog发生改变时,会通知给canal服务器端3.canal服务器将改变的数据转换成json数据发送canal客户端4.在canal客户端中原创 2020-12-21 11:32:51 · 1577 阅读 · 0 评论 -
Kafka集群设计原理
Kafka集群设计原理Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Kafka并没有遵循JMS规范,它只提供了发布和...原创 2020-02-12 21:38:07 · 766 阅读 · 0 评论 -
Windows上安装kafka:找不到或无法加载主类 Files\Java\jdk1.8.1_80\lib;C:\Program
错误:找不到或无法加载主类 Files\Java\jdk1.7.0_80\lib;C:\Program解决方式在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat找到为%CLASSPATH%加上双引号修改前:set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAF...原创 2020-02-12 03:41:15 · 343 阅读 · 0 评论 -
RabbitMQ消息中间件使用
RabitMQ消息中间件一、介绍RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件),RabbitMQ服务器是用Erlang语言编写的。 RabitMQ官方网站1.点对点模式(简单)2.工作模式 (一对多)3.发布订阅4.路由模式5.topic模式(通配符)6.RPC模式7.发布者确定模式二、安装1.下载并安装erlang,下载...原创 2019-12-15 18:29:30 · 489 阅读 · 0 评论 -
一、为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点?...
面试题为什么使用消息队列? 消息队列有什么优点和缺点? Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?面试官心理分析其实面试官主要是想看看: 第一,你知不知道你们系统里为什么要用消息队列这个东西? 不少候选人,说自己项目里用了 Redis、MQ,但是其实他并不知道自己为什么要用这个东西。其实说白了,就是为了用而用,或者是别人...原创 2018-12-28 16:12:00 · 207 阅读 · 0 评论 -
Nginx的rewrite指令
Nginx提供了rewrite指令,用于对地址进行重写,语法规则:rewrite "用来匹配路径的正则" 重写后的路径 [指令];案例: server { listen 80; server_name api.leyou.com; proxy_set_header X-Forwarded-Host $host; ...原创 2019-01-03 03:34:42 · 409 阅读 · 0 评论 -
Elasticsearch介绍和安装
1.Elasticsearch介绍和安装用户访问我们的首页,一般都会直接搜索来寻找自己想要购买的商品。而商品的数量非常多,而且分类繁杂。如果能正确的显示出用户想要的商品,并进行合理的过滤,尽快促成交易,是搜索系统要研究的核心。面对这样复杂的搜索业务和数据量,使用传统数据库搜索就显得力不从心,一般我们都会使用全文检索技术,比如之前大家学习过的Solr。不过今天,我们要讲的是另一个全文检索技术...原创 2019-01-11 01:11:34 · 343 阅读 · 0 评论 -
Elasticsearch操作索引
1.基本概念Elasticsearch也是基于Lucene的全文检索库,本质也是存储数据,很多概念与MySQL类似的。对比关系:索引(indices)--------------------------------Databases 数据库 类型(type)-----------------------------Table 数据表 文档(Document)--------...原创 2019-01-11 11:20:37 · 526 阅读 · 0 评论 -
Elasticsearch查询
我们从4块来讲查询:基本查询_source过滤结果过滤高级查询排序1.基本查询:基本语法GET /索引库名/_search{ "query":{ "查询类型":{ "查询条件":"查询条件值" } }}这里的query代表一个查询对象,里面可以有不同的查询属性查询类型:例如:match_...原创 2019-01-11 11:24:31 · 450 阅读 · 0 评论 -
Elasticsearch之聚合aggregations
聚合可以让我们极其方便的实现对数据的统计、分析。例如:什么品牌的手机最受欢迎?这些手机的平均价格、最高价格、最低价格?这些手机每月的销售情况如何?实现这些统计功能的比数据库的sql要方便的多,而且查询速度非常快,可以实现实时搜索效果。1 基本概念Elasticsearch中的聚合,包含多种类型,最常用的两种,一个叫桶,一个叫度量:桶(bucket)桶的作用,是按照某种方式对...原创 2019-01-11 11:26:44 · 5201 阅读 · 3 评论 -
MQ详解及四大MQ比较
一、消息中间件相关知识1、概述消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。2、消息中间件的组成 2.1 Broker消息服务器,作为serv...转载 2019-04-10 16:39:06 · 10731 阅读 · 10 评论