thinkers

需求是将 Clickhouse 测试库下所有的表数据进行同步，同步到 StarRocks中。

假如plate为1，则plate_id_str为 [0]，假设 plate为 5，则 plate_id_str为 [0,1,2,3,4]即 如果 plate为大于0的数字 n，则 plate_id_str为字符串 [0,1...n-1]已知：plate是已有字段且有数据，plate_id_str为新增字段，需要刷新历史数据。

【代码】豆瓣电影。

sql 需要能满足支持动态拼接，包含 查询字段、查询表、关联表、查询条件、关联表的查询条件、排序、分组、去重等。11，核心类之 BasicConditionQueryCriteria（入参）7，核心类之 PredicateCondition。8，核心类之 PropertyCondition。10，核心类之 ExecutionSql。9，核心类之 SqlBuilder。6，核心类之 Condition。2，创建项目并引入 pom依赖。4，核心类之 Column。5，核心类之 Table。

由于某些情况下当查询过滤参数过大时，执行sql由于参数过大而报错，此时 需要使用临时表的方式，即 当参数超过某个阀值（如 1000，可调整）新增一张临时表，将原表 与 该临时表进行inner join 达到条件筛选过滤的目的（当然，除了这种方式，还可以考虑 将参数进行切片后分批次查询组装）。注意：要想实现 插入数据 与 查询 在同一个会话中实现，这里采用最简单的实现方式：事务 来实现，即 方法上加上注解 @Transactional 即可。4，编写 dao 层接口代码。2，引入需要的pom依赖。

如果只要redo log, 理论上是可以的,因为redo log记录了数据页的变化位置,数据恢复落盘会更容易. 但redo log 不具备归档的能力,循环写数据不完整,从历史发展来看,mysql 最开始的MYISAM存储引擎是没有redo log的,但都有bing log日志归档,方便做数据的全量崩溃恢复.简单来说,就是因为写入log buffer是顺序IO,而刷盘是需要寻址的,是随机IO,顺序IO的性能比随机IO高很多,所以提高了系统的性能,即采用了同步写缓存日志异步刷盘的方式来保证性能.

四, 在resources目录下创建db.migration目录并在该目录下创建sql文件, V1.0.1__init.sql。启动项目后,会生成一张表: flyway_schema_history。flyway是一款用来管理数据库版本的工具框架。三, flyway配置参数。类似的其他sql文件同理。

Sharding JDBC原理图