大数据周会-本周学习内容总结017

upward337

已于 2023-06-11 15:33:17 修改

阅读量784

点赞数 1

分类专栏：大数据文章标签：大数据计算 elasticSearch java git

于 2023-06-11 15:26:51 首次发布

希望对您有所帮助；知识共享，欢迎转载，转载时：请附上原文链接！

本文链接：https://blog.youkuaiyun.com/weixin_44949135/article/details/131153226

版权

大数据专栏收录该内容

24 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文总结了大数据周会的学习内容，涵盖了实时和离线计算的流程、架构及使用场景，介绍了数据采集、存储、预处理、实时计算、离线计算的关键技术组件，如Flume、Kafka、HDFS、Spark、Elasticsearch等。此外，还提及了fhzn项目的Elasticsearch索引创建和多条件查询，以及git代码提交。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开会时间：2023.06.1 15:00 线下会议

01【调研-计算（实时、离线）】

1.1【流程图】

开始 -> 数据采集 -> 数据存储 -> 数据预处理 -> 实时计算 -> 结果存储和展示 -> 离线计算 -> 最终结果

1.2【架构图】

                 +---------------------+
                 |                     |
      +----------+   实时计算引擎      +-----------+
      |          |                     |           |
      |          &#