huang714的专栏

关系型分库分表，列式库分布式计算原创知了一笑2020-04-21 15:07:29一、数据拆分概念1、场景描述随着业务发展，数据量的越来越大，业务系统越来越复杂，拆分的概念逻辑就应运而生。数据层面的拆分，主要解决部分表数据过大，导致处理时间过长，长期占用链接，甚至出现大量磁盘IO问题，严重影响性能；业务层面拆分，主要解决复杂的业务逻辑，业务间耦合度过高，容易引起雪崩效应，业务库拆分，微服务化分布式，也是当前架构的主流方向。2、基本概念分区模式针对数据表做分区模式，所...

主从库动态路由，AOP模式读写分离原创知了一笑2020-04-01 07:32:29源码地址：GitHub || GitEE一、多数据源应用1、基础描述在相对复杂的应用服务中，配置多个数据源是常见现象，例如常见的：配置主从数据库用来写数据，再配置一个从库读数据，这种读写分离模式可以缓解数据库压力，提高系统的并发能力和稳定性，执行效率。2、核心API在处理这种常见问题，要学会查询服务基础框架的API，说直白点就是查询Spring框架的API（工作几年，还没用过Spri...

OLAP查询引擎，ClickHouse集群化管理原创知了一笑2020-05-18 07:20:00一、列式库简介ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），主要用于OLAP在线分析处理查询，能够使用SQL查询实时生成分析数据报告。列式存储行式存储和列式存储，数据在磁盘上的组织结构有着根本不同，数据分析计算时，行式存储需要遍历整表，列式存储只需要遍历单个列，所以列式库更适合做大宽表，用来做数据分析计算。絮叨一句：注意这里比较...

动态权限校验，表结构和数据迁移流程原创知了一笑2020-04-14 07:20:00一、数据同步简介1、场景描述如果经常接触数据开发，会有这样一个场景，服务A提供一个数据源，假设称为动态数据源A，需要读取该数据源下的数据；服务B提供一个数据源，假设称为动态数据源B，需要写入数据到该数据源。这个场景通常描述为数据同步，或者数据搬运。2、基本流程基于上述流程图，整体步骤如下：测试多个数据源是否连接成功，并动态管理; 判断数据源提供的账号是否有操作权限，例如读写; 读...

基于DataX组件，同步数据和源码分析原创知了一笑2020-05-06 07:20:00一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到Da..

Kafka集群环境搭建，消息存储机制详解原创知了一笑2020-06-11 07:43:09一、Kafka集群环境1、环境版本版本：kafka2.11，zookeeper3.4注意：这里zookeeper3.4也是基于集群模式部署。2、解压重命名tar -zxvf kafka_2.11-0.11.0.0.tgzmv kafka_2.11-0.11.0.0 kafka2.11创建日志目录[root@en-master kafka2.11]# mkdir logs..

PostgreSQL环境整合，JSON类型应用一、PostgreSQL简介1、和MySQL的比较PostgreSQL是一个功能强大的且开源关系型数据库系统，在网上PostgreSQL和MySQL一直有大量的对比分析。大多从性能，开源协议，SQL标准，开发难度等去比较，只要有比较就会有差距和差异，看看就好。絮叨一句：编程世界里的对比是一直存在的，但是无论对比结果如何，当业务需要的时候，该用还是要用。MySQL和PostgreSQL对比很少占上风，但...

基于JDBC模式，适配和管理动态数据源一、关系型数据源1、动态数据源动态管理数据源的基本功能：数据源加载，容器维护，持久化管理。2、关系型数据库不同厂商的关系型数据库，提供的链接方式，驱动包，驱动类名都是不一样的，Java数据库连接API，JDBC是Java语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法，且适配大部分关系型数据库。3、适配要素核心要素：驱动包、驱动类名、U...