想跳槽?你先看看(MQ、ZK、Nginx、Kafk)等分布式技术你都会吗?

以下是SpringCloud、Kafka、Nginx、Dubbo和Redis的相关介绍 Nginx是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器。它能够处理高并发连接,具有高效的静态资源缓存功能,还可以作为负载均衡器使用。 阅读详情

准备跳槽的小伙伴你们都准备好了吗,重点知识都掌握了吗?面试题背得怎么样了?别急,我给你们想法子来了,面试可不是小事,咱们还是要做好准备,有把握了之后再去面试,这样也不浪费时间,利用空余得时间去背题刷题,面试得时候就更自信一些,今天给大家整理了关于MQ(RabbitMQ+ActiveMQ)、ZK、MongoDB、Nginx、Kafk等分布式技术,这些小伙伴们都掌握得怎么样了呢?别担心,跟着一起学!

注意注意:需要MQ、ZK、Nginx、Kafk等分布式学习笔记的(都已整理如下)【学习笔记】滴我即可

MQ、ZK、Nginx、Kafk等分布式学习笔记

01 第一个闪亮登场的是Nginx

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,在BSD-like 协议下发行。其特点是占有内存少,并发能力强,事实上nginx的并发能力在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等

1.1 关于Nginx面试官最爱问哪些问题?

  1. 请解释 Nginx 如何处理 HTTP 请求?
  2. 请解释是否有可能将Nginx 的错误替换为 2 502 错误?
  3. 在 Nginx 中,如何使用未定义的服务器名称来阻止处理请求?
  4. 请解释 Nginx 服务器上的 r Master 和 和 r Worker 进程分别是什么?
  5. 请解释你如何通过不同于 0 80 的端口开启 Nginx?
  6. 请解释什么是 K C10K 问题?用 Nginx 服务器解释s -s 的目的是什么?
  7. 在 Nginx 中,解释如何在 L URL 中保留双斜线?
  8. 使用 “ 反向代理服务器 ”
  9. 解释Nginx 是否支持将请求压缩到上游?
  10. 解释如何在 Nginx 中获得当前的时间?如何在 Nginx 服务器上添加模块?
  11. ...

Nginx:详细解答如下

Nginx:详细解答如下

1.2 Nginx学习必须推荐的书籍

(1)深入理解Nginx模块开发与架构解析

深入理解Nginx模块开发与架构解析

02 第二个是Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

2.1 Kafka面试问题?

  1. Kafka 的设计时什么样的呢?
  2. 数据传输的事物定义有哪三种?
  3. Kafka 判断一个节点是否还活着有那两个条件?
  4. producer 是否直接将数据发送到 broker 的 leader(主节点)?
  5. Kafa consumer 是否可以消费指定分区消息?
  6. Kafka 消息是采用 Pull 模式,还是 Push 模式?Kafka 存储在硬盘上的消息格式是什么?
  7. 消费者负载均衡策略,kafaka 生产数据时数据的分组策略?
  8. Kafka 创建 Topic 时如何将分区放置到不同的 Broker 中?
  9. partition 的数据如何保存到硬盘?
  10. Kafka 的消费者如何消费数据?
  11. ...

Kafka:详细解答如下

Kafka:详细解答如下

2.2 学习Kafka必备

(1)Kafka学习大纲图

Kafka学习大纲图

03 第三个是ZK

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

3.1 ZK面试必备

  1. ZooKeeper 提供了什么?
  2. zk 的配置管理(文件系统、通知机制)
  3. Zookeeper 集群管理(文件系统、通知机制)?Zookeeper 分布式锁(文件系统、通知机制)?
  4. 获取分布式锁的流程?分布式通知和协调?
  5. Zookeeper 队列管理(文件系统、通知机制)
  6. Zookeeper 数据复制?Zookeeper 工作原理?
  7. zookeeper 是如何保证事务的顺序一致性的?
  8. zookeeper 是如何选取主 leader 的?
  9. zk 节点宕机如何处理?
  10. zookeeper 负载均衡和 nginx 负载均衡区别?
  11. ...

ZK:详细解答如下

ZK:详细解答如下

3.2 ZK学习推荐书籍

(1)ZooKeeper-分布式过程协同技术详解

ZooKeeper-分布式过程协同技术详解

04 第四个是MongoDB

MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

4.1 面试官最常问的MongoDB问题有哪些?

  1. 你说的 NoSQL 数据库是什么意思?NoSQL 与 RDBMS 直接有什么区别?为什么要使用和不使用NoSQL 数据库?说一说 NoSQL 数据库的几个优点?
  2. MongoDB 支持存储过程吗?如果支持的话,怎么用?
  3. 如何理解 MongoDB 中的 GridFS 机制,MongoDB 为何使用 GridFS 来存储文件?
  4. journal 回放在条目(entry)不完整时(比如恰巧有一个中途故障了)会遇到问题吗?
  5. 如果用户移除对象的属性,该属性是否从存储层中删除?
  6. 我应该启动一个集群分片(sharded)还是一个非集群分片的 MongoDB 环境?
  7. 如果我在使用复制技术(replication),可以一部分使用日志(journaling)而其他部分则不使用吗?
  8. 如果在一个分片(shard)停止或者很慢的时候,我发起一个查询会怎样?
  9. 如果块移动操作(moveChunk)失败了,我需要手动清除部分转移的文档吗?
  10. 如果一个分片(Shard)停止或很慢的时候,发起一个查询会怎样?
  11. ...

MongoDB:详细解答如下

MongoDB:详细解答如下

4.2 MongoDB学习必须推荐的书籍

(1)MongoDB权威指南

MongoDB权威指南

05 最后压轴出场的是MQ(RabbitMQ+ActiveMQ)

5.1 ActiveMQ

ActiveMQ是Apache软件基金会所研发的开放源代码消息中间件;由于ActiveMQ是一个纯Java程序,因此只需要操作系统支持Java虚拟机,ActiveMQ便可执行。

(1)ActiveMQ面试常备

  1. 什么是 ActiveMQ?
  2. ActiveMQ 中的消息重发时间间隔和重发次数吗?
  3. ActiveMQ 服务器宕机怎么办?
  4. 丢消息怎么办?
  5. 持久化消息非常慢?
  6. 消息的不均匀消费?
  7. ...

ActiveMQ:详细解答如下

ActiveMQ:详细解答如下

5.2 RabbitMQ

RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Erlang语言编写的,而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。

(1)RabbitMQ面试常备

  1. RabbitMQ 中的 broker 是指什么?cluster 又是指什么?
  2. 什么是元数据?元数据分为哪些类型?包括哪些内容?与 cluster 相关的元数据有哪些?元数据是如何保存的?元数据在 cluster 中是如何分布的?
  3. RabbitMQ 中的 cluster、mirrored queue,以及 warrens 机制分别用于解决什么问题?存在哪些问题?
  4. RAM node 和 disk node 的区别?
  5. cluster 中 node 的失效会对 consumer 产生什么影响?若是在 cluster 中创建了mirrored queue ,这时 node 失效会对 consumer 产生什么影响?
  6. 向不存在的 exchange 发 publish 消息会发生什么?向不存在的 queue 执行consume 动作会发生什么?
  7. 为什么说保证 message 被可靠持久化的条件是 queue 和 exchange 具有durable 属性,同时 message 具有 persistent 属性才行?
  8. RabbitMQ 上的一个 queue 中存放的 message 是否有数量限制?
  9. 在单 node 系统和多 node 构成的 cluster 系统中声明 queue、exchange ,以及进行 binding 会有什么不同?
  10. RabbitMQ 允许发送的 message 最大可达多大?
  11. ...

RabbitMQ:详细解答如下

RabbitMQ:详细解答如下

[中文]分布式系统原理与范型

[中文]分布式系统原理与范型

总结

本文所整理得这些MQ(RabbitMQ+ActiveMQ)、ZK、MongoDB、Nginx、Kafk等分布式技术笔记因为篇幅有限就不一一展示了.

互联网大厂高频面试题

30天入门 SAP BTP 开发系列之二:了解 SAP BTP Region 的概念,包含账号申请的详细步骤 SAP BTP 的 Region,实际是一组按地理位置划分的、由 SAP 或合作 Hyperscaler 承载的基础设施栈。这些基础设施栈至少包含多可用区网络、对象存储、计算节点及自动化运维等服务。 阅读详情

相关推荐

Amesim基础篇-元件详解-流体库管路

Amesim基础篇-元件详解-流体库管路

2201_75375391的博客 4519

Kafka学习笔记

本文转载来自:https://www.cnblogs.com/qingyunzong/p/9004703.html Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统,图展示了Kafka的相关术语以及之间的关系 上图一个topic配置了3个partition。Partition1有两个offset:0和1。Partition2有4个offs...

weixin_30650859的博客 2077

MTK Tunning ISP 模块面试总结

ISP面试问答

m0_72053187的博客 4535

SpringMVC入门 - 简单整合nginx 和 kafka

nginx主要是用来做反向代理的,kafka主要用来做消息队列缓存与分发。 下面在linux上简单迁移使用一下,大体架构如下图。 1、nginx 如果不考虑在nginx上加载模块的话,那在ubuntu上安装nginx直接apt就可以了。但由于我们后面需要nginx将部分消息转发至kafka,因此nginx需要以重新编译的方式装载第三方模块。这里与kafka可以选择直接装载kafka模块,也可以利用lua模块来完成;本文选择第二种方法,即先添加lua模块编译,再在lua中利用lua-resty-kafka进

weixin_44115360的博客 632

PostgreSQL 超详细安装与使用教程:从入门到实战

本文将详细介绍PostgreSQL数据库的安装配置与基础使用。首先从Windows系统安装入手,分步骤讲解17.5版本的安装流程、环境变量配置及服务启动验证。接着重点介绍了pgAdmin4图形化管理工具的安装与使用,包括界面语言设置、数据库连接、创建与管理数据库等操作,同时对比了可视化操作与SQL命令两种方式。最后梳理了PgSQL基础语法,涵盖表的创建、增删改查操作、约束管理等内容,为初学者提供了完整的PostgreSQL入门指南。文章兼顾理论知识与实际操作,既适合数据库新手学习,也可作为开发人员的快速参考

gtf212的博客 1万+

QTableView实现表格加载百万条数据

本文介绍用QTableView实现加载100万条数据显示到表格。 1.创建工程 用Qt Creator创建Qt Widgets Application项目,基类选择QWidget,创建好了,如图: 2.添加QTableView控件 在widget.ui中添加QTableView控件,和QPushButton,采用栅格布局,如图: 3.添加函数 头文件 QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACE class Wid

丁爸的博客 8269

kafka安装配置

Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。既然是消息队列,那么Kafka也就拥有消息队列的相应的特性了

qq_58534786的博客 518

新手避坑指南:用镭神C32和KVH 1750 IMU做标定,为什么直接上lidar_align会失败?

本文详细解析了使用镭神C32激光雷达和KVH 1750 IMU进行标定时常见的失败原因及解决方案。从IMU的微分传感器特性到Lidar-IMU标定的数学本质,再到可行的标定方案和实操注意事项,帮助新手避开认知陷阱,掌握正确的标定方法。

weixin_30162121的博客 327

kafka简介

Kafka 本质上是⼀个消息队列。与zeromq不同的是,Kafka是一个独立的框架而不是一个库。这里主要介绍其原理,至于具体的安装等操作不做介绍,只是提示一下,第一次运行时,先设置前台运行,看会不会报错。 架构 注意下图没有画上zookeeper,请自行脑补。kafka需要连接到zookeeper,来完成注册发现等集群操作。broker都是由zookeeper管理。 先给出 Kafka ⼀些重要概念,让⼤家对 Kafka 有个整体的认识和感知,后⾯还会详细的解析每⼀个概念的作⽤以及更深⼊的原理: Pr

m0_65931372的博客 6万+

量化数据采集实战:从App接口逆向到Python爬虫系统构建

数据采集是量化分析和自动化策略的基石,其核心原理是通过程序模拟客户端行为,从目标服务器获取结构化数据。在金融科技领域,高效、稳定的数据采集能力直接决定了策略研究的深度和时效性。面对金融App常见的反爬机制,如请求签名和身份认证,工程师需要掌握网络协议分析、接口逆向与模拟请求等关键技术。这些技术不仅能用于获取市场情绪、资金流向等高频数据,更是构建个人量化研究基础设施、实现从主观看盘到客观数据分析转型的关键一步。本文以实战为例,深入剖析了如何系统性地逆向分析数据接口、破解签名算法,并最终构建一个包含代理IP池与

weixin_29032489的博客 1477

SolidWorks 小车底盘 装配体

通过制作小车底盘了解solidworks装配体的部分知识

及时总结 2226

阿里架构师分享分布式架构笔记文档:Nginx+Redis+ZK+Kafka+MQ等

Nginx Nginx 是一款非常优秀的开源软件,工作需要,研究了很久一段时间的 Nginx 源码,在研究学习的过程中收益颇多。作为高性能服务器的代表,为了追求极致的高性能,在许多方面,Nginx 的源码实现都可以称得上是典范。 市面上真正适合学习的Nginx资料太少,有的书或资料虽然讲得比较深入,但是语言晦涩难懂,大多数人看完这些书基本都是从入门到放弃。学透Nginx难道就真的就没有一种适合大多数同学的方法吗? 这次小编Nginx技术知识难点特地分享一份PDF文档《Nginx实战源码解析文档》由于

weixin_50666791的博客 498

Android实战——白天黑夜模式设置

白天黑夜模式是一种动态的UI模式,根据当前时间或用户设置的偏好,在白天和黑夜之间进行切换。它通过调整应用程序的颜色、亮度和其他可视化元素来提供更加舒适和易读的用户界面。

小旭的专栏 5225

Kafka简介、单机版安装、JAVA连接Kafka、集群

Kafk简介 & 单机版 & JAVA连接 & 集群 文章目录Kafk简介 & 单机版 & JAVA连接 & 集群1.介绍2.下载3.安装3.1 建立文件夹3.2 将压缩包放置到该文件夹下(可以使用xftp)3.3 修改配置文件3.4 启动3.4.1 启动zookeeper3.4.2 启动kafka4.测试4.1 创建topic4.2 创建生产者4.3 创建消费者5.JAVA连接kafka5.1 pom.xml5.2 Producer_Test01.java

jzh666233的博客 998

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

人人都说kafka,何为kafka???三分钟kafka原理详解~

适合新手简单快速上手kafka

indexqian的博客 9640

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

kafka快速入门系统学习示例

Broker:消息中间件处理节点,⼀个Kafka节点就是⼀个broker,⼀个或者多个 Broker可以组成⼀个Kafka集群。partition:通过partition将⼀个topic中的消息分区来存储。这样的好处有多个:分区存储,可以解决统⼀存储⽂件过⼤的问题 提供了读写的吞吐量:读和写可以同时在多个分区中进⾏。副本:副本是为了为主题中的分区创建多个备份,多个副本在kafka集群的多个broker中,会有⼀个 副本作为leader,其他是follower。

weixin_66568937的博客 619

Kafka史上最详细原理总结(一)

Kafka史上最详细原理总结 一、概念理解(1)产生背景(2)Kafka的特性(3)Kafka场景应用(4)Kafka一些重要设计思想二、消息队列通信的模式(1)点对点模式(2)发布订阅模式三、Kafka的架构原理(1)基础架构与名词解释(2)工作流程分析(1)发送数据(2)保存数据(3)消费数据 一、概念理解 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大

徐小慧_Blog的博客 1万+

kafka基础架构及核心知识

kfka基础架构及核心知识目录一、kfka介绍以及说明1.kfka介绍以及名字由来2..kfka数据存储3.kafka高效的原因4.kafka的特点二、kafka集群的安装与部署三、kafka的核心组成1.Broker2.Topic3.Partition4.Offset5.持久化6.副本机制7.Producer8.Consumer9.Consumer Group四、shell客户端操作kafka五...

qq_33265875的博客 6245

kafka全解

Kafka传统定义: Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。发布/订阅:消息的发布者不会将消息直接发布给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。Kafka最新定义:Kafka是一个开源的分布式事件流平台(Event Streaming Platform),被数千家公司用于高性能的数据管道、流分析、数据集成和关键任务应用。

General_zy的博客 4万+

Kafka详解

3.1 Kafka定义Kafka是一个分布式的基于发布/订阅模式的消息队列(MQ,Message Queue),主要应用于大数据实时处理领域。3.2 Kafka简介Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于Zookeeper协调的分布式消息中间件系统。

sk13587280072的博客 1919

深入理解kafka-1

kafka快速入门1、kafka简介1.1 kafka是什么1.2 kafka基础架构1.3 kafka模块概述2、kafkka结构剖析2.1 kafka工作流程2.2 kafka文件存储2.2.1 顺序写2.2.2 分片,索引2.3 broker集群2.3.1 主从结构2.3.2 ISR2.3.3 Controller控制器及选举机制2.3.4 数据一致性2.3.5 Exactly Once2.4 生产者2.4.1 生产者分区策略2.4.2 ACK机制2.5 消费者2.5.1 消费者分区策略2.5.2 o

qq_41257358的博客 1005

【收藏】什么是Kafka、原理、作用、架构?

目录 1 kafka 是什么 2 消息队列实现原理 3 消息队列的作用 4 kafka 架构 5 分布式模型 1 kafka 是什么   Apache kafka is a distributed streaming platform,即官方定义kafka 是一个分布式流式计算平台。而在大部分企业开发人员中,都是把 kafka 当成消息系统使用,即它是一个分布式消息队列,很少会使用 kafka 的流式计算。它有四个关键概念: topic   kafka 把收到的消息按 topic.

小慌慌的博客 3256

初识nginx、redis、elk与kafka

根据自己的理解大致的描述了nginx、redis、elk、kafka在整个应用系统中所扮演的角色。

weixin_39688581的博客 4830

Kafka基础知识

Kafka基础知识 一、概叙 Kafka是一个开源的消息系统,由scala写成 目标是为处理实时数据提供一个统一、高通量、低等待的平台 Kafka是一个分布式消息队列 无论是kafka集群,还是consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性 二、架构 Producer:消息生产者,就是向kafka broker发消息的客户端 Consumer :消息消费者,向kafka broker取消息的客户端 Topic:可以理解为一个队列 Consumer Group (C

Yubingx的博客 294

Kafka

一、基础概念 关键术语 1.主题(topic):一个 topic 里保存的是同一类消息,相当于对消息的分类,每个 producer 将消息发送到 kafka 中,都需要指明要存的 topic 是哪个,也就是指明这个消息属于哪一类。 2.分区(partition):每个 topic 都可以分成多个 partition,每个 partition 在存储层面是 append log 文件。任何发布到此 partition 的消息都会被直接追加到 log 文件的尾部。为什么要进行分区呢?最根本的原因就.

sinat_34814635的博客 1万+

kafka教程大全

kafka

原名又逢乱世。不要放下学习的脚步,毕竟比天天打牌、钓鱼、打游戏更能从内在充实自己。 4987

kafka是什么

来源:OrcHome简单说明什么是kafkaApache kafka是消息中间件的一种,我发现很多人不知道消息中间件是什么,在开始学习之前,我这边就先简单的解释一下什么是消息中间件,只是粗略的讲解,目前kafka已经可以做更多的事情。举个例子,生产者消费者,生产者生产鸡蛋,消费者消费鸡蛋,生产者生产一个鸡蛋,消费者就消费一个鸡蛋,假设消费者消费鸡蛋的时候噎住了(系统宕机了),生产者还在生产鸡蛋,那新

夏季版 1064
上一篇: filebeat收集java程序多行报错
下一篇: 因为Redis错失美团offer,一个月苦练这份《redis面试宝典》二战美团顺利拿下offer!
Java_ttcd
博客等级 码龄4年 198粉丝 190原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值