学习笔记

Kafka Stream：提供了对存储于 Kafka内 的数据进行流式处理和分析的功能 特点： Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署 除了Kafka外，无任何外部依赖 通过可容错的state store实现高效的状态操作（如windowed join和aggregation） 支持基于事件时间的窗口操作，并且可处理晚到的数据（late arrival of records）

在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

Kafka 是一个分布式流媒体平台，类似于消息队列或企业消息传递系统。Producers：消息的生产者Consumers：消息的消费者Kafka Cluster：Kafka 集群Connectors：连接器Stream Processors：Stream 流处理producer：发布消息的对象称之为主题生产者（Kafka topic producer）topic：Kafka将消息分门别类，每一类的消息称之为一个主题（Topic）

数据聚合 聚合的种类 聚合（aggregations）可以实现对文档数据的统计、分析、运算。聚合常见的有三类： 桶（Bucket）聚合：用来对文档做分组 TermAggregation：按照文档字段值分组 Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等 Avg：求平均值 Max：求最大值 Min：求最小值 Stats：同时求max、min、avg、sum等 管道（pipeline）聚合：其它聚合的结果为

DSL Query的分类Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括：查询的基本语法如下：查询DSL的基本语法是什么？全文检索查询，会对用户输入内容分词，常用于搜索框搜索：match 查询：全文检索查询的一种，会对用户输入内容分词，然后去倒排索引库检索，语法：：与 查询类似，只不过允许同时查询多个字段，语法： 和 的区别是什么？精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索

Elasticsearch 是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。elasticsearch 结合 kibana、Logstash、Beats，也就是 elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。elasticsearch 是 elastic stack 的核心，负责存储、搜索、分析数据。

MQ （MessageQueue），中文是消息队列，字面来看就是存放消息的队列。也就是事件驱动架构中的 Broker。Spring AMQP 项目将Spring的核心概念应用于基于AMQP的消息传递解决方案的开发。它提供了一个“模板”，作为发送和接收消息的高级抽象。它还通过“侦听器容器”为消息驱动的POJO提供支持。这些库促进了AMQP资源的管理，同时促进了依赖注入和声明性配置的使用。在所有这些情况下，您将看到与Spring框架中JMS支持的相似之处。 该项目由两部分组成；spring-amqp 是基础抽象

大型项目组件较多，运行环境也较为复杂，部署时会碰到一些问题：依赖关系复杂，容易出现兼容性问题开发、测试、生产环境有差异Docker如何解决依赖的兼容问题的？将应用的Libs（函数库）、Deps（依赖）、配置与应用一起打包将每个应用放到一个隔离容器去运行，避免互相干扰内核与硬件交互，提供操作硬件的指令系统应用封装内核指令为函数，便于程序员调用用户程序基于系统函数库实现功能Ubuntu和CentOS都是基于Linux内核，只是系统应用不同，提供的函数库有差异Docker如何解决不同系统环境的问题？

网关功能：在SpringCloud中网关的实现包括两种：Zuul 是基于 Servlet 的实现，属于阻塞式编程。而 SpringCloudGateway 则是基于 Spring5 中提供的 WebFlux，属于响应式编程的实现，具备更好的性能。搭建网关服务的步骤：编写路由配置及 nacos 地址启动 gateway 服务与其它服务，访问 gateway，可以看到 gateway 将我们的请求进行了路由网关路由可以配置的内容包括：我们在配置文件中写的断言规则只是字符串，这些字符串会被 Pr

Feign是一个声明式的http客户端，官方地址：https://github.com/OpenFeign/feign，其作用就是帮助我们优雅的实现http请求的发送，解决上面提到的问题。引入依赖：-- feign客户端依赖--> < dependency > < groupId > org.springframework.cloud < artifactId > spring-cloud-starter-openfeign

Nacos一方面可以将配置集中管理，另一方可以在配置变更时，及时通知微服务，实现配置的热更新。除此之外，Nacos 也可以实现多环境配置共享。

Nacos 是阿里巴巴的产品，现在是 SpringCloud 中的一个组件。Nacos中服务存储和数据存储的最外层都是一个名为 namespace 的东西，用来做最外层隔离。服务注册到Nacos时，可以选择注册为临时或非临时实例，通过下面的配置来设置（临时实例宕机时，会从nacos的服务列表中剔除，而非临时实例则不会。服务调用尽可能选择本地集群的服务，跨集群调用延迟较高。当同集群要访问的服务挂掉时，则会访问其它集群的服务。本地集群不可访问时，再去访问其它集群。时，优先选择本地集群，所以需要给。

Eureka是Netflix开发的服务发现框架,SpringCloud将它集成在自己的子项目spring-cloud-netflix中,实现SpringCloud的服务发现功能.Eureka包含两个组件:Eureka Server和Eureka Client.

Spring Cloud 是目前国内使用最广泛的微服务框架。SpringCloud集成了各种微服务功能组件，并基于SpringBoot实现了这些组件的自动装配，从而提供了良好的开箱即用体验：Spring Cloud 与 Spring Boot 的版本兼容关系如下：SR5=》2.2.x，当 大于 SR5 =》2.3.x。