Lansonli（蓝深李）的博客

利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但实际很重要，这里我就不再具体说明，感兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标这个栏目为缺少项目的同学全面整理的客快物流大数据项目逻辑，内容是按基础环境搭建到项目架构设计，带你从基础到架构实战，想学会就得自律加坚持，赶快行动吧。一、项目简介。

分布式系统中，由于服务数量非常多，配置文件分散在不同微服务项目中，管理极其不方便。为了方便配置文件集中管理，需要分布式配置中心组件。在Spring Cloud中，提供了Spring Cloud Config，它支持配置文件放在配置服务的本地，也支持配置文件放在远程仓库Git(GitHub、码云)。配置中心本质上是一个微服务，同样需要注册到Eureka服务中心！一句话概括：统一管理所有微服务配置文件的一个微服务！

Gateway网关是我们服务的守门神，所有微服务的统一入口。Spring Cloud Gateway 是 Spring Cloud 的一个全新项目，该项目是基于 Spring 5.0，Spring Boot 2.0 和 Project Reactor 等技术开发的网关，它旨在为微服务架构提供一种简单有效的统一的 API 路由管理方式。在Gateway之前，SpringCloud并不自己开发网关，可能是觉得Netflix公司的Zuul不行吧，然后自己就写了一个，也是替代Netflix Zuul。

Feign 的英文表意为“假装，伪装，变形”， 是一个http请求调用的轻量级框架，是以Java接口的方式调用Http接口，而不用像Java中通过封装HTTP请求报文的方式直接调用。Feign通过处理注解，将请求模板化，当实际调用的时候，传入参数，根据参数再应用到请求上，进而转化成真正的请求，这种请求相对而言比较直观。Ribbon内部有重试机制，一旦超时，会自动重新发起请求。Feign被广泛应用在Spring Cloud 的解决方案中，是学习基于Spring Cloud 微服务架构不可或缺的重要组件。

在分布式环境中，许多服务依赖项中的部分服务必然有概率出现失败。Hystrix是一个库，通过添加延迟和容错逻辑，来帮助你控制这些分布式服务之间的交互。Hystrix通过隔离服务之间的访问点阻止级联失败，通过提供回退选项来实现防止级联出错。提高了系统的整体弹性。线程隔离和服务降级之后，用户请求故障时，线程不会被阻塞，更不会无休止等待或者看到系统奔溃，至少可以看到执行结果(熔断机制)。Hystrix，英文意思是豪猪，全身是刺，刺是一种保护机制。Hystrix解决雪崩问题的手段，主要是服务降级(兜底)，线程隔离；

通过Spring Cloud的封装，可以让我们轻松地将面向服务的REST模版请求自动转换成客户端负载均衡的服务调用。因为微服务间的调用，API网关的请求转发等内容，实际上都是通过Ribbon来实现的，包括明天我们将要介绍的Feign，它也是基于Ribbon实现的工具。这个负载均衡拦截器的类，会对RestTemplate的请求进行拦截，然后从服务清单中，获取服务集群的所有地址，随后利用负载均衡算法得到真正服务地址信息进行访问。为了增加服务并发访问量，我们搭建集群，集群的负载均衡怎么实现？

自我保护机制是，当在短时间内，统计续约失败的比例，如果达到一定阈值，则会触发自我保护的机制，在该机制下，Eureka Server不会剔除任何的微服务，等到正常后，再退出自我保护机制。所以，还需要有服务剔除的机制。当Eureka Client需要关闭或重启时，就不希望在这个时间段内再有请求进来，所以，就需要提前先发送REST请求给Eureka Server，告诉Eureka Server自己要下线了，Eureka Server在收到请求后，就会把该服务状态置为下线（DOWN），并把该下线事件传播出去。

它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。Spring Cloud并没有重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理，最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。大家谈起的微服务，大多来讲说的只不过是种架构方式。

添加项目的pom.xml插件；在pom.xml要显式的加入插件spring-boot-maven-plugin，否则无法产生 jar 清单文件，导致打出来的 jar 无法使用命令运行；使用命令： java –jar 包全名 或者写一个 bat 文件，里面包含 java –jar 包全名；这样就可以双击启动应用。【注意】在查看打出的 jar 的时候，将发现 jar 包里面包含 jar 包；这样的包称为 fatJar。使用maven的命令package打包；

Spring Boot提供了一个名为spring-boot-starter-parent的工程，里面已经对各种常用依赖（并非全部）的版本进行了管理，我们的项目需要以这个项目为父工程，这样我们就不用操心依赖的版本问题了，需要什么依赖，直接引入坐标即可。如果我们想要修改Spring Boot项目的jdk版本，只需要简单的添加以下属性即可，如果没有需求，则不添加。那些依赖都是Spring Boot根据 spring-boot-starter-web 这个依赖自动引入的，而且所有的版本都已经管理好，不会出现冲突。

一、什么是SpringBootSpring Boot是Spring项目中的一个子工程，与我们所熟知的Spring-framework 同属于spring的产品：首页Spring Boot简介可以看到下面的一段介绍：翻译一下：Spring Boot的设计目的是让您尽可能快地启动和运行，而无需预先配置Spring。Spring Boot以一种固定的方式来构建可用于生产级别的应用程序。一般把Spring Boot称为搭建程序的 脚手架 或者说是便捷搭建基于Spring的工程脚手架。

在企业开发中，微服务作为当下非常热门的技术被越来越多的企业所采纳，提到微服务这一话题就离不开。

很明显，Spring Cloud的功能比DUBBO更加强大，涵盖面更广，而且作为Spring的拳头项目，它也能够与Spring Framework、Spring Boot、Spring Data、Spring Batch等其他Spring项目完美融合，这些对于微服务而言是至关重要的。而Spring Cloud就像品牌机，在Spring Source的整合下，做了大量的兼容性测试，保证了机器拥有更高的稳定性，但是如果要在使用非原装组件外的东西，就需要对其基础有足够的了解。把握现在，学习现在最火的技术架构；

使用Elastic Search查询物流数据，必须将数据存储到Elastic Search中。

4、使用_cat接口查询集群信息。1、切换到es用户下。1、切换到es用户下。2、启动Kibana。

Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。全文检索（全部字段）、模糊查询（搜索）、数据分析（提供分析语法，例如聚合）来隐藏Lucene的复杂性，从而让全文搜索变得简单。Elasticsearch是一个基于。

在快递行业中，时限和安全是快递服务价值的核心，客户对快递服务有着苛刻的要求，在时限、安全、可靠、便利、跟踪查询方面比其他运输服务有着更高的要求，因此客户愿意为了这些高品质的服务支付较高的价格。快递又称速递、快件和快运，是物流的一种表现形式，与传统物流的区别是，物流的核心要素是仓储，运输和包装，而快递是一种门到门的个性化物流服务，更重视速度。快递业作为服务产业，需要对客户负责，及时向客户响应和回馈货物的运输情况，因此快递业建立货物跟踪管理系统非常有必要。市场两大类型，其中国内快递市场又可以分为。

【代码】客快物流大数据项目（一百零二）：业务和指数开发。

Spark 1.3 版本开始引入了。

【代码】客快物流大数据项目（一百）：ClickHouse的使用。

从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对的支持是比较弱的，实际上并不支持标准的update、delete操作。下面介绍一下Clickhouse中update、delete的使用。Clickhouse通过alter方式实现更新、删除，它把update、delete操作叫做(突变)。那么，与标准的update、delete有什么区别呢？标准SQL的更新、删除操作是同步的，即客户端要等服务端返回执行结果（通常是int值）；

【代码】客快物流大数据项目（九十八）：ClickHouse的SQL函数。

例如，如果组合的两个查询中包含相同的字段，并且是类型兼容的Nullable和non-Nullable，则结果将会将该字段转换为Nullable类型的字段。USING子句使用的是等值连接。如果你使用的是子查询的方式，则任何在外部查询中没有使用的列，子查询将从查询中忽略它们；如果你的查询没有列出任何的列（如SELECT count() FROM t），则将额外的从表中提取一些列（最好的情况下是最小的列），以便计算行数。可以使用包含在括号里的子查询来替代表，在这种情况下，子查询的处理将会构建在外部的查询内。

如果 Sign = -1 它指示具有相同属性的对象的状态的取消（让我们称之为 “cancel” 行）。还可以使用 Version 列，它应该用单独的数字标识对象的每个状态。但是，对于数据库管理系统来说，更新操作非常昂贵且速度很慢，因为它需要重写存储中的数据。如果我们使用单个查询插入数据，ClickHouse将创建一个数据部分，并且永远不会执行任何合并。但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。可以删除，折叠对象的无效（旧）状态。在稍后的某个时候，我们注册用户活动的变化，并用以下两行写入它。

但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个表引擎，。CollapsingMergeTree表引擎需要的建表语句与MergeTree引擎基本一致，惟一的区别是需要指定Sign列（必须是Int8类型）。。这其实是插入了两行除Sign列值不同，但其他列值均相同的数据。因为有了Sign列的存在，当触发后台合并时，会找到存在状态行与取消行对应的数据，然后进行折叠操作，。状态行与取消行不折叠有两种情况。

在预聚合时，ClickHouse会对主键列以外的其他所有列进行预聚合。参数是表中的列，是可选的，该列是要汇总值的列名称的元组。时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存在一部分数据已经被预先聚合，但仍有一部分数据尚未被聚合的情况。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。的这条数据的确是合并完成了，由原来的3条变成1条了，而且value值的求和是正确的3。的count值变成1了，sum。

文章目录ClickHouse的ReplacingMergeTree深入了解一、创建ReplacingMergeTree表的说明二、创建ReplacingMergeTree引擎的表三、插入数据到ReplacingMergeTree引擎的表四、删除表为了解决MergeTree相同主键无法去重的问题，ClickHouse提供了ReplacingMergeTree引擎，用来对主键重复的数据进行去重。删除重复数据可以使用optimize命令手动执行，这个合并操作是在后台运行的，且无法预测具体的执行时间。在使用opti

文章目录ClickHouse的MergeTree系列引擎介绍和MergeTree深入了解一、MergeTree系列引擎介绍二、​​​​​​​MergeTree深入了解1、创建MergeTree表的说明2、创建MergeTree引擎的表3、删除MergeTree引擎的表MergeTree（合并树）系列引擎是ClickHouse中最强大的表引擎，是官方主推的存储引擎，几乎支持ClickHouse所有的核心功能。该系列引擎主要用于海量数据分析的场景，支持对表数据进行分区、复制、采样、存储有序、主键索引、稀疏索引和

文章目录ClickHouse的数据库引擎一、MySQL引擎ClickHouse提供了本机、MySQL和Lazy这3种数据库引擎，但在默认情况下仅使用其本机数据库引擎，该引擎提供可配置的表引擎(MergeTree、Log和Intergation)和SQL方言(完整的SQL解析器，即递归下降解析器；数据格式解析器，即快速流解析器)。还可以使用MySQL和Lazy。MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中，并允许您对表进行INSERT和SELECT查询，以方便您在ClickHo

文章目录ClickHouse的引擎介绍和深入日志引擎讲解一、引擎介绍二、日志引擎​​​​​​​1、TinyLog引擎ClickHouse提供了多种不同的表引擎，表引擎可以简单理解为不同类型的表。表引擎（即表的类型）决定了：下面介绍其中几种，对其他引擎有兴趣的可以去查阅官方文档：https://clickhouse.tech/docs/zh/engines/table-engines最简单的表引擎，用于将数据存储在磁盘上。每列都存储在单独的压缩文件中，写入时，数据将附加到文件末尾。该引擎没有并发控制 这种表引

文章目录ClickHouse的数据类型支持一、整型二、​​​​​​​浮点型三、​​​​​​​​​​​​​​Decimal四、布尔型五、字符串类型六、​​​​​​​​​​​​​​UUID七、​​​​​​​Date类型八、​​​​​​​DateTime类型九、​​​​​​​枚举类型十、​​​​​​​​​​​​​​数组类型十一、AggregateFunction类型十二、​​​​​​​​​​​​​​元组类型十三、​​​​​​​​​​​​​​Nullable类型十四、嵌套数据结构十五、interval 十六、​​​

-host,-h服务端的 host 名称, 默认是 'localhost'。您可以选择使用 host 名称或者 IPv4 或 IPv6 地址。--port连接服务端的端口，

主要因为产品需要比较强的交互能力，页面拖拽的方式能够给分析师展示不同的指标，查询模式比较多变，并且有一些查询的 DSL 描述，也不好用现成的SQL去表示，这就需要engine有比较好的定制能力。系统的数据量比较大，因为产品要支持头条所有APP的用户行为分析，包含头条全量和抖音全量数据，用户的上报日志分析，面临不少技术挑战。工作后，综合来看ClickHouse的性能、功能和产品质量来说效果不错，因为开发ClickHouse的公司使用的场景实际上跟头条用户分析是比较类似的，因此有一定的借鉴意义。

ClickHouse是俄罗斯的Yandex于2016年开源的面向OLAP列式数据库管理系统（DBMS）ClickHouse采用C++语言开发，以卓越的查询性能著称，在基准测试中超过了目前很多主流的列式数据库ClickHouse集群的每台服务器每秒能处理数亿到十亿多行和数十千兆字节的数据ClickHouse会充分利用所有可用的硬件，以尽可能快地处理每个查询单个查询（解压缩后，仅使用的列）的峰值处理性能超过每秒2TB允许使用类SQL实时查询生成分析数据。

它能在亚秒内查询巨大的Hive表。Presto 是由 Facebook 开源的大数据分布式 SQL 查询引擎，适用于交互式分析查询，可支持众多的数据源，包括 HDFS，RDBMS，KAFKA 等，而且提供了非常友好的接口开发数据源连接器。Druid 支持低延时的数据摄取，灵活的数据探索分析，高性能的数据聚合，简便的水平扩展。，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。

选择执行查询的时间范围，例如，昨天的上午 9 点到今天中午 12 点，使用 Impala 执行。分配给此角色的内存软限制，由 Linux 内核强制执行。分配给此角色的内存硬限制，由 Linux 内核强制执行。每一个查询段实例名称，与查询计划中是一一对应的，查询段中包括总耗时、缓冲池内。“查询详细信息”中的 SQL 脚本对应的查询耗时。“查询详细信息”中的 SQL 脚本对应的执行计划。“查询详细信息”中的 SQL 脚本对应的查询实例。选择一个查询，并点击右侧的“查询详细信息”。

分配给 Kudu Tablet Server 块缓存的最大内存量：block_cache_capacity_mb=512。TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量：memory_limit_h。在 Kudu 完成内部复合键编码之后，组成复合键的单元格总共限制为。如果插入不符合这些限制的行时会报错误并返回给客户端。在编码或压缩之前，任何单个单元都不得大于。

新增的数据还没有来得及触发compaction操作再次进行更新操作的。

每一个Column的数据被存储在一个相邻的数据区域，而这个数据区域进一步被细分成一个个的小的Page单元，与HBase File中的Block类似，对每一个Column Page可采用一些Encoding算法，以及一些通用的Compression算法。每个table的列数是确定的，每一列都需要有名字和类型，每个表中可以把其中一列或多列定义为主键。Kudu的底层数据文件的存储，未采用HDFS这样的较高抽象层次的分布式文件系统，而是自行开发了一套。的，因此Kudu的表需要用户在建表时定义它的。

【代码】客快物流大数据项目（八十）：用户标签开发。