- 博客(2)
- 收藏
- 关注
原创 JAVA使用jdbc流处理从mysql导入clickhouse
最近开始又大数据统计分析,需要将亿级业务数据进行聚合查询统计,传统的关系型库(mysql)已经满足不了业务需求,经过精细的技术选型成本计算后,自建了一个单机(4c16g)的clickhouse。实现了一个占用内存不到400M,完美将亿级数据从mysql导到了clickhouse(流处理)建好DB后,接下来的数据导入是个难题。开始准备使用阿里的datax导入,然后发现clickhouse write模块已经两年没更新了。为了快速启动只能先试试用win服务器上的navicat直接导出成csv,然后用命令行导
2022-06-07 12:22:48
996
2
原创 JAVA 使用 main 方法测试执行 HttpClient debug 日志级别 关闭debugg
在写函数、spring项目等测试第三方接口使用main方法测试接口可用性时,会发现有大量HttpClient包中自带的debug级别日志(如下图)这些都不是我们需要的日志,因此我们需要想办法修改日志级别!(如下图)HttpClient的日志模组是logback,在类加载时增加以下代码,将所有logback的日志级别改为ERROR
2022-03-31 10:42:48
2803
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人