
数据采集
文章平均质量分 61
总结数据采集技术
shinelord明
北方待了10多年,北京六年多工作时间。先后在北京大唐电信,爱奇艺,京东等企业从事java开发、软件开发、与大数据开发、设计等相关工作。18年回重庆,在一家互联网金融公司,从事后端开发与大数据相关工作。
展开
-
【大数据】日志文件数据采集组件
日志文件数据采集组件对比原创 2023-04-15 22:17:50 · 494 阅读 · 0 评论 -
【大数据】日志采集组件Flume
Flume 是Cloudera开发的一个分布式的、可靠的、高可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化的数据存储系统中。随着互联网的发展,特别是移动互联网的兴起,产生了海量的用户日志信息,为了实时分析和挖掘用户需求,需要使用Flume高效快速采集用户日志,同时对日志进行聚合避免小文件的产生,然后将聚合后的数据通过管道移动到存储系统进行后续的数据分析和挖掘。原创 2023-04-01 23:15:43 · 733 阅读 · 0 评论 -
【大数据】Kafka集群搭建
kafka集群搭建原创 2023-03-26 10:37:03 · 509 阅读 · 0 评论