itxiaoshen博客

一个适合工业物联网实时采集传感器数据实时分析工业设备的数据实现更好的预测性感知的分布式NoSQL数据库Apache Pinot，先了解其特性和使用场景，然后通过Local和Docker两种方式部署Apache Pinot和验证环境，最后通过实操其批和流式导入数据和利用其控制台端点查询数据。

通过Hbase与Cassandra对比，层次展开了解Apache Cassandra特性和使用场景，通过部署但实力和多实例集群进一步理解其运作，最后通过CQL及其客户端命令工具理解其数据模型和数据类型，通过对键空间、表、索引、数据操作熟悉常见CQL语法和使用。

今天再下一个Go语言编写分布式键值存储的云原生组件ectd，了解其定义理、应用场景和特性，熟悉其整体架构和常用术语，进一步研究其读写和日志复制的原理，最后完整部署单示例和多实例集群和介绍一些常见命令。

本篇重点了解Pulsar IO的基础，通过两个示例演示如何一步步实操安装Cassandra和JDBC PostgreSQL的年连接器，进而配置和创建Pulsar Sink 并验证结果，也进一步熟悉一些常见pulsar-admin命令，最后还演示Pulsar SQL简单使用。

本篇逐层递进了解Pulsar Functions的基本概念和理论，如工作原理、处理保证模式、窗口函数；进一步搭建Pulsar函数运行环境，一步步操作演示函数也包括窗口函数的示例使用，最后通过Java语言实现原生语言接口和Pulsar函数SDK两种方式的代码示例、打包、部署和结果验证

本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单功能。最后介绍Pulsar 层级存储的工作原理和使用场景，如何使用待续...

先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。

再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、创建Cube、Cube的构建，全面认识kylin预计算查询的性能。

大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。

Ceph实现了分布式统一的存储，既支持对象存储、块设备存储还支持文件系统，不失为目前最成熟稳定的存储解决方案，本篇先了解传统存储问题和Ceph的优势，介绍总体架构和组成部分，说明官网文档部署和部署版本建议，了解几种部署方式，最后通过Cephadm快速部署一个简单暂无存储节点的集群，后续可以在此基础上进行高可用节点的和存储节点的扩缩容

本篇为生产使用的MinIO配置Nginx代理，实战操作如何创建MinIO的用户和安全认证，通过配置MinIO的server信息开始，实操MC客户端常见的命令操作实现浏览桶、创建删除桶、文件上传下载等，最后通过编程SDK使用需求出发，通过Java客户端的实现文件上传下载的示例，最后以MinIO整合SpringBoot启动器的方式实现MinIO常见API的编程开发......

本篇先了解一个以快著称的云原生对象存储系统，上传下载对象速度只限制于网络带宽，体会强大又极简主义的设计，从MinIO特性和架构设计思想，熟悉其常见应用场景；实战MinIO的快速部署，最后以一个可用生产系统的4个节点每个节点4块磁盘的分布式高可用部署并体验了文件上传和下载的速度。......

本篇介绍Apache DolphinScheduler总体架构和设计思想，使用shell工作流演示参数的使用、传递及其优先级，通过数据源管理演示ClickHouse SQL任务类型的工作流使用步骤，最后通过一个邮件告警示例使用DolphinScheduler更加放心......

全新一代分布式工作流任务调度平台Apache DolphinScheduler，其为azkaban的完美替换品，本篇从实战目的出发先了解特性和组成部分，然后以二进制的方式部署2个Master3个Worker1个API和1个Alert的生产环境集群，介绍了其监控中心和安全中心必用功能，最后以一个简单的shell依赖工作流整理流程打开使用的大门。.........

本篇介绍SkyWalking v9.1.0的性能剖析、日志、告警的使用示例，开启对于SkyWalking原理的探索，重点讲述SkyWalking利用Java Agent实现无侵入结合使用Byte Buddy对字节码操作，以代码说明Java Agent和Byte Buddy的使用步骤和从常见API，最后以一个统计方法耗时的代码实现无侵入的普通类代理增强。......

本篇从微服务监控三大要素，了解分布式链路追踪理论基础，SkyWalking与其他常见开源APM系统比较，介绍SkyWalking组成，部署基于ES持久化SkyWalking，通过两个微服务实战示例演示基于Java语言的无侵入Agent配置使用和SkyWalking UI几个常见功能，最后实现一个自定义链路追踪的示例。...

本篇从基于Seata分布式事务框架实现的AT、TCC、SAGA、XA模式理论基础出发了解其原理、流程和使用场景，并使用Seata最新版本1.5.2和客户端Starter最新版本1.5.2以订单和库存两个微服务实现AT、XA事务模式的完整配置和使用的踩坑示例说明，以Java调试模式说明如AT模式下TC、TM、RM的交互数据。.........

没错，seata最新版本1.5.2也有像Nacos一样的控制台界面了，本篇从本地事务和分布式事务的理论开始，熟悉两阶段提交流程，引出具有TC、TM、RM三大角色分布式解决方案，TC也就是我们SeataServer，从源码包中获取资源文件，详细介绍基于Nacos配置中心和注册中心的MySQL数据库存储可用于生产系统的完整部署步骤，提前踩坑......

在前面的博客已经熟悉ElasticJob分布式任务的应用，其核心实现为elasticjob-lite-spring-boot-starter，少量配置开箱即用；今天就来模拟封装一个简易的分布式任务调度实现定时任务选主执行和故障自动转移的starter,本篇主要重心在于基于SpringBoot官网标准start封装的模板和步骤。.........

本篇详细介绍了最新版本1.8.4 Sentinel控制台的使用，逐步说明如何从控制台设置流控规则、熔断降级规则、热点参数限流规则、系统规则并结合相应的完整实例演示，并给出了一个统一异常处理示例，最后给出实际生产开发Sentinel整合OpenFeign和规则持久化的操作步骤。......

开篇先提出ES生产环境部署需要考虑五个问题，进而一步步展开阐述ES集群规划、节点类型规划、脑裂问题避免、分片和副本设置推荐设置，最后以一个日志采集生产环境实战例子，应用ES索引生命周期策略、索引模板实现索引的动态管理过程。......

Sentinel是面向分布式服务架构的高可用防护组件，本篇从基础入门，了解其特性、设计理念、工作流程，结合三步骤的代码和注解的示例实现流量控制、熔断降级基础功能，以最新源码打包部署sentinel控制台。...

本篇重点讲述导入数据到StarRocks几种方式，也通过一个flink-connector-starrocks的简单示例代码了解其导入过程，进而学习数组类型的使用、分布式实现本地Join的使用，最后抛出外部表的使用大门

在上一篇已部署StarRocks集群环境基础上，本篇以列式存储、稀疏索引开始对StarRocks表设计进一步学习，进而理解排序键、物化视图、位图索引、布隆过滤器索引，全面理解加速数据处理，并通过动手实操示例巩固效果

没错，国产之强大，越来越多像新时代云原生的Apache Pulsar一样把性能优化极致的正在快速崛起，本篇从StarRocks由来开始，了解其特性和使用场景、架构和原理、组成部分，然后部署了一个FE和3个BE集群，最后通过一个简单建表正式迈入实操

云原生时代又一代表作TiDB,具备HTAP也即是同时支持OLTP和OLAP,Pulsar设计相似采用存储与计算分离架构，本篇从TiDB与传统数据库的比较开始，了解应用场景和特性，进而进行部署和基础操作实践，了解整体架构、从存储、计算、调度了解TiDB的设计。

本篇了解MongoDB和传统关系数据库和Elasticsearch，从而更深印象理解MongoDB的使用场景，也通过docker-compose编排技术完成MongoDB分片集群的部署，进一步学习容器化技术，通过Spring Boot整合MongoDB熟悉数据文档操作概念，最后通过分片设置案例了解MongoDB最为代表性的可扩展性

今天我们又来学习一个Apache顶级项目Apache RocketMQ，RocketMQ由国人阿里团队采用Java语言开发和开源的，曾获得2016、2018中国最受欢迎的开源软件奖。RocketMQ凭借其强大的存储能力和强大的消息索引能力，以及各种类型消息和消息的特性脱颖而出。Apache RocketMQ官网地址及其GitHub都提供非常详细中文学习文档如Apache RocketMQ开发者指南等，学习起来可谓是非常之流畅、酸爽、so easy!让我们通过官网和及其GitHub来深入学习这个与时俱进非常优

Apache Kafka是一个开源的分布式事件流平台，使用Scala和Java混合编写，Kafka最初由Linkedin公司开发，2011年贡献给了Apache基金会并成为顶级开源项目。消息队列就是用于数据生产方和消费方解耦合的中间件。顾名思义，主体就是一个队列的形式收集消息，数据在消费端按照FIFO的原则被消费。近几天连续学习两个Apache的开源项目，今天我们又来学习另外一个Apache顶级开源项目Kafka，可以见得Apache在开源世界的绝对大佬地位。Kafka是一个基于Zookeeper协调的支持

这样学习ZooKeeper离大厂所需技能要求还远吗,开发者、管理员、维护员等不同角色学习ZooKeeper的关注点不同，本篇则兼顾多方的角度切入并深入理解ZooKeeper，了解其功能、特性、应用场景、集群部署，逐步引出分布式理论核心知识点，最后深入到架构原理，引出分布式一致性协议Paxos算法、Raft协议以及ZooKeeper独创的Zab协议，如何选主如何写数据，可谓覆盖到大厂面试方方面面的考点

Redis作为目前最主流缓存数据库毫无疑问独霸一方，使其作为大厂Java后台开发面试的必考点之一，本篇将剖析Redis为什么性能高和快的原因，Redis也是分布式锁的实现方案之一,此外还涉及到缓存预热、缓存穿透、缓存雪崩、缓存击穿、缓存更新、缓存降级等介绍。Redis常见使用场景：计数器、分布式ID生成器、海量数据统计bitmap、会话缓存、分布式阻塞队列、分布式锁、热点数据、社交需求好友推荐、延迟队列（sortset）等。Redis提供丰富的数据结构，如字符串、哈希、列表、集合、带范围查询、位图、超对数、

本篇将实战nginx常用功能和高级特性、剖析限流算法，并逐步带入到进阶的OpenResty和引出基于OpenResty（Nginx + Lua模块）编写的高性能款、高可用、易扩展且开源的API Gateway项目的Kong网关。我们通常使用开源的Nginx版本，但基于Nginx开源版本至上还衍生包括商业收费版本的Nginx Plus、淘宝开源的TEngine、OpenResty三大分支

本篇先了解Elasticsearch底层原理，通过docker方式搭建3台ES集群,安装Head插件和Kibana可视化工具，加入ik分词器支持中文分词，熟悉Elasticsearch基本概念和基础操作，最后利用spring-boot整合elasticsearch启动器写一个增删改查功能示例

本篇文章着重介绍常用分布式全局ID实现方案及原理和优缺点分析，通过Java代码示例使用开源框架百度Uidgenerator、美团Leaf、滴滴TinyID，这些都是大量用于生产实践，而这些的开源分布式ID生成器设计思路基本都是基于号段模式和雪花算法为基础，根据不同业务场景做选择，稳定且性能有保证，轻松使用解决分布式系统面临的ID问题。

本篇从Java定时器的基础理论原理开始首先认识大部分定时任务底层使用的算法如小顶堆和时间轮算法，并逐步从Jdk Timer、Jdk定时任务线程池、Spring Task、Quartz定时任务框架了解这边我们经常使用定时任务解决方案；分布式的系统存在分布式问题，底层基于Quartz的分布式调度ElasticJob正是用来解决分布式系统中常见的任务重复执行、任务负载均衡、统一任务调度、任务故障转移等，也提供了静态和动态创建定时任务代码示例