weixin_61938673的博客

flink cdc 源数据类型映射。

数据生命周期管理，通常我们在写数仓设计时候，就对表进行规划，在命名规则上对于一些业务即可做一些标识要求，例如临时表增加"_tmp"的标识，另外在ETL开发过程中，也可以对分区数据做清理的要求，例如数据写入完成后，对临时表进行drop table操作，对历史N天前分区数据进行drop partition 的 操作。最后实现部分可以用脚本进行处理，也可以写个管理页面进行设置和定时清理的动作。

修改配置可以在 /etc/hive/conf/下的hive-site.xml配置的hive.querylog.location，修改完毕后重启hive服务。修改配置可以在 /etc/hive/conf/下的hive-env.sh配置的hive.log.dir ，修改完毕后重启hive服务。进入hive shell 窗口，执行以下命令，将显示当前配置的系统日志属性值，默认为/var/log/hive。进入hive shell窗口，执行以下命令，将显示当前配置的属性值，默认为tmp/hive。

Hive 的执行引擎包括以下几种：Hive 最早使用的执行引擎是基于 Hadoop MapReduce 的。它将 Hive 查询转化为一系列的 MapReduce 任务进行并行执行。MapReduce 引擎适用于处理大规模数据集，具有良好的容错性和扩展性，但由于磁盘读写和中间结果的持久化，可能在性能和响应时间方面受到影响。Hive 可以使用 Apache Tez 作为执行引擎来加速查询处理。