
大数据
文章平均质量分 82
针对基于janugraph知识图谱项目中的大数据组件的应用实战经验
仔仔1993
java,大数据,多维分析,知识图谱
展开
-
DataX源码解析与插件开发
DataX源码解析与插件开发 DataX是个啥 框架设计 源码下载与工程编译 Job&Task概念 物理运行模型 源码解析(不包括重入锁和有界阻塞队列) 插件开发和调试 插件部署 Datax源码解析与Writer插件开发 Datax是个啥 DataX 是阿里巴巴集团内被广泛使用的 离线数据 同步工具/平台,实现包括 MySQL、Oracle、Sq...原创 2019-09-26 21:10:17 · 1660 阅读 · 0 评论 -
windows本地编译调试hbase-3.0.0-alpha-2-SNAPSHOT源码
hbase源码编译原创 2022-10-13 20:29:23 · 1267 阅读 · 2 评论 -
Dolphinscheduler3.0源码分析
研究Dolphinscheduler也是机缘巧合,平时负责基于xxl-job二次开发出来的调度平台,因为遇到了并发性能瓶颈,到了不得不优化重构的地步,所以搜索市面上应用较广的调度平台以借鉴优化思路。在阅读完DolphinScheduler代码之后,便生出了将其设计与思考记录下来的念头,这边是此篇文章的来源。因为没有正式生产使用,业务理解不一定透彻,理解可能有偏差,欢迎大家交流讨论。......原创 2022-08-05 16:22:18 · 3078 阅读 · 4 评论 -
基于DataX的janusgraph入库性能优化实践
janusgraph入库性能优化实践原创 2021-04-07 18:51:53 · 989 阅读 · 0 评论 -
Hbase离线数据迁移方案
Hbase离线数据迁移方案 考虑到集群间在线直连数据迁移存在的网络、效率、异常处理等问题,本文只介绍hbase数据的离线迁移方案,如想了解在线迁移请移步:[Hbase数据迁移方案实践](https://blog.youkuaiyun.com/qq_26777585/article/details/109571764)。 方案 整体方案依赖的是hbase原生导入导出工具(Export/Import)工具,org.apache.hadoop.hbase.mapreduce.Export下文简介Export,org.apa原创 2021-01-25 10:54:40 · 500 阅读 · 2 评论