
大数据
文章平均质量分 89
JCrazyUltimate
这个作者很懒,什么都没留下…
展开
-
大数据的数据接入和数据服务技术的研究
转自我的语雀:https://www.yuque.com/docs/share/4a3838e2-f63d-4c00-8842-0bcd881516eb?# 《论文:大数据的数据接入和数据服务技术的研究-已发表》原创 2021-06-03 20:14:52 · 1459 阅读 · 2 评论 -
大数据hadoop实时数据接入实现与周期核数
架构canal实时监控mysql,丢给kafka,flink/spark sink,datax首次或周期核数。方案0、增删改hive内部表但是性能非常差,启动mr引擎需要2-3s,即使使用hive on spark引擎也需要1-2s启动。不满足实时要求。1、首次全量抽取写textfile文件,创建hive外部表。实时接入append写上面的textfile文件。此时:注意1)分隔符的选定,尽量不要与数据内容中存在的制表符相同。可以在创建hive外...原创 2021-06-03 20:12:10 · 533 阅读 · 0 评论