- 博客(3)
- 资源 (6)
- 收藏
- 关注

原创 强大的ETL利器—LogCollector2.0
产品开发背景LogCollector是基于应用日志流程的一套ETL工具和服务组件。目前常用的ETL工具Flume也可以完成日志的采集、传输、转换和存储,但是Flume工具仅能应用到通信质量无障碍的局域网环境,在公网环境下可能因网络不稳定等因素导致连接远端服务的发送器组件失败,而此时收集器组件可能并不知情,数据仍然会继续传送到通道组件,这容易导致通道组件内存泄露从而引发OOM错误;另一方面由于通道错误导致实时收集的数据发送失败,收集器也没有记录实时检查点,这意味着发送失败的数据将面临丢失。发生所有这些问题的
2021-02-28 20:17:05
867
原创 达梦数据库DM8
DM8(达梦8)是一款由武汉达梦数据库有限公司基于C/C++语言开发的国产关系型数据库,有支持X86和ARM平台的版本,可以部署到开源系统CentOS6.X+及国产系统KyLin-V4+上;作为国产关系型数据库,其DM8与Oracle数据库的设计思路非常相似,其次达梦数据库是一款国产数据库,但由于不支持开源免费版本,所以目前在国内的市场占有率仍然很低;以下以X86_64平台上的CentOS7.4操作系统为例构建DM8数据库生产环境。 ......
2022-08-31 09:27:54
3993
1
原创 强大的ETL利器—DataFlow3.0
产品开发背景DataFlow是基于应用数据流程的一套分布式ETL系统服务组件,其前身是LogCollector2.0日志系统框架,自LogCollector3.0版本开始正式更名为DataFlow3.0。目前常用的ETL工具Flume、LogStash、Kettle、Sqoop等也可以完成数据的采集、传输、转换和存储;但这些工具都不具备事务一致性。比如Flume工具仅能应用到通信质量无障碍的局域网环境,在公网环境下可能因网络不稳定等因素导致连接远端服务的发送器组件失败,而此时收集器组件可能并不知情,数据仍
2021-04-01 17:42:49
4073
1
一招教你如何在JAVA工程中轻松嵌入Web服务.mp4
2021-03-01
JAVA远程调试教程
2021-03-01
强大的分布式ETL数据流利器—LogCollector-2.0
2021-02-28
通用Linux版本MySql8.X绿化安装包
2021-02-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人