m0_64735594的博客

下面是实现，传的id是数据源id，以及前4行是公司内部产品的sdk获取该数据源的url、用户名密码。hive遇到Spring Boot 里面引入hive-jdbc包，依赖冲突。我要通过jdbc连接这些数据库，访问数据库的表名、列名（项目需要）根据自己代码 、版本的实际情况来吧。hive需要在pom文件里导入。clickhouse的驱动。

公司实验室有个异常定时任务，往某张表里写了3亿多条数据，26G，导致磁盘满了，要清空表中的数据，一定要用truncate table 表名;如果要保留原始数据，就做个新表把要保留的数据插入新表，然后truncate掉原表，再把新表的数据回填回去。我做了最nb的做法，delete，导致数据库重启，数据库一直在启动过程，本机磁盘io特别高，操作的数据量大的话，就会执行较长的时间，而且会占用很多锁资源，如果中间手动kill掉，会有回滚操作。见到失败就开心了，终于能启动了。从中午12点就是这个状态。

在典型的Shared-Nothing中，每个节点上所有的资源的CPU、内存、磁盘都是独立的，每个节点都只有全部数据的一部分，也只能使用本节点的数据资源。在Greenplum中，需要存储的数据在进入到表时，将先进行数据分布的处理工作，将一个表中的数据平均分布到每个节点上，并为每个表指定一个分布列（Distribute Column）,之后便根据Hash来分布数据，基于Shared-Nothing的原则，Greenplum这样处理可以充分发挥每个节点处IO的处理能力。Master节点一般只有一个或二个。

Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控MySQL数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。

以hdfs为数据存储的，一种分布式、可扩充的NoSQL非关系型数据库。HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。关系型数据库如MySQL是按照行列表存储，非关系型数据库是kv对存储。

是一个高性能的 key-value 数据库。Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即master-slave模式的数据备份。