大数据Hadoop、spark笔记（一）

已于 2024-04-09 16:02:26 修改
阅读量512 收藏 10
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Hadoop+Spark 文章标签： 大数据 hadoop spark
于 2024-04-08 12:27:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45738761/article/details/137503798
本文介绍了大数据时代的背景和技术特点，重点讲述了Hadoop生态系统（HDFS、MapReduce、Hive等）及其与Spark的区别，包括MapReduce的局限性和Spark的改进，以及Flink作为竞争者的作用。讨论了Spark是否能取代Hadoop的问题，并分析了Spark流行的原因。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章

200万优质内容无限畅学
第一章 大数据Hadoop学习笔记(一）
weixin_42561051的博客
06-21 458
学习笔记（一）
大数据Hadoop、spark笔记 第二章 spark设计与原理
qq_45738761的博客
04-08 734
Task Scheduler：负责每个stage里task的分配：ececutor启动后，Worker Node会主动向Task Scheduler申请任务，Task Scheduler负责分发。分发任务的基本原则：计算向数据靠拢---如果数据在机器A上，那么优先让机器A执行该任务，避免额外的数据传输开销。阶段Stage：Job的基本调度单位，一个job分为多组task，每组task称为一个stage/taskSet，代表一组关联的、没有依赖关系的任务集。YARN---应用最广。RDD是只读的，不能修改。
大数据Hadoop、spark笔记 第三章：Spqrk应用基础
qq_45738761的博客
04-08 609
reduceByKey先生成（“spark”,[(6,1),(4,1)]）然后lambda[(6,1),(4,1)]得到（Hadoop,(10,2)），意为hadoop两天共卖出10本。例：有两个表userdata和event，前者包含用户ID和用户数据（一个大表，有10000项），后者包含用户ID和用户行为（小表，有1000项）。重新分区，需传入两个参数：（分区数，自定义的分区类）。在实际处理数据时，大量数据会放在多个主机中，每个主机分别多线程处理数据，之后将处理好的数据汇总到一个master节点整合。
笔记：python spark机器学习与hadoop大数据
qq_55643803的博客
01-06 1892
机器学习技术不断进步， 应用相当广泛， 例如推荐引擎、 定向广告、需求预测、垃圾邮件过滤、 医学诊断、 自然语言处理、 搜索引擎、 欺诈检测、 证券分析、 视觉识别、 语音识别、 手写识别等。ApacheSpark是开放源码的集群运算框架，由加州大学伯克利分校的AMPLab开发。Spark是一个弹性的运算框架，适合进行Spark Streaming数据流处理、Spark SQL互动分析、MLlib机器学习等应用，因此Spark可作为一个用途广泛的大数据运算平台。Spark 允许用户将数据。
【大数据】Hadoop学习笔记
passnight的博客
06-24 1549
Hadoop学习笔记, 包含了HDFS/YARN/MapReduce的学习笔记
大数据Hadoop、spark笔记 第四章：流计算
qq_45738761的博客
04-08 404
spark是面向批处理的框架，将实时输入数据以时间片为单位拆分（拆分后称为Dstream---离散化数据流）并处理（RDD操作），以此实现流数据的处理。数据经流处理系统处理后的数据，可以流出给下一个环节继续处理，也可以把相关结果处理完以后就丢弃掉，或者存储到相关的存储系统当中去。数据来源众多，随时变化，快速持续到达，关注数据的整体价值不过分关注个体价值，数据价值随时间流逝。数据实时采集，数据实时计算，结果主动推送给用户，数据可能不需要存储。将数据存储在数据库，用户主动发出查询，得到结果。
【学习笔记】尚硅谷Hadoop大数据教程笔记
zuzhiang的博客
04-28 5247
本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。 一、Hadoop入门 大数据的特点： Volume（大量） Velocity（高速） Variety（多样） Value（低价值密度） 1. Hadoop概念 是一个分布式系统基础架构 2. Hadoop优势 高可靠 高扩展性 高效性 高容错性 3. Hadoop组成 (1) HDFS架构概述 HDFS（Hadoop
《尚硅谷大数据Hadoop》教程
weixin_42065178的博客
11-12 1993
Hadoop
大数据hadoop生态技术简介
zhoushimiao1990的博客
06-15 4057
大数据生态知识体系
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......
05-08
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......
译|Netflix 数据平台运营中基于机器学习自动修复系统
素质云笔记
08-02 782
译|Netflix 数据平台运营中基于机器学习自动修复系统
【无标题】
别这么骄傲
08-01 429
Flink跨Catalog读写实践总结：生产环境中需严格区分数据源注册位置，Kafka等Source表应注册在default_catalog避免污染Hive Metastore，Hive Sink表则需在HiveCatalog注册。通过全限定名(catalog.database.table)实现跨Catalog操作，既能保证数据治理规范，又能确保血缘清晰。最佳实践要求非Hive连接器表严禁在HiveCatalog创建，团队协作时应将此规范纳入开发流程，从而维护生产环境的安全性和结构清晰性。
Kafka 是什么？
专注于技术分享
08-03 505
Kafka 是一个开源的分布式事件流处理平台。Kafka 的设计目标是为处理实时数据流提供一个统一的、高吞吐量、低延迟的平台。从本质上讲，可以将 Kafka 理解为一个高度可靠且可扩展的“日志”或“记录簿”，用于记录在不同系统和应用程序之间发生的“事件”。凭借其高性能和可扩展性，Kafka 被广泛应用于各种场景，超过 80% 的财富 500 强公司都在使用它。总而言之，Kafka 不仅仅是一个消息队列，它更是一个功能强大的分布式事件流平台，为构建数据驱动的实时应用程序提供了坚实的基础。
基于Java的AI工具和框架
keny-大成的博客
08-04 814
本文介绍了多个基于Java的AI工具和框架的实用案例，涵盖机器学习、自然语言处理、计算机视觉、推荐系统等领域。主要内容包括： 机器学习与深度学习：使用Deeplearning4j进行图像分类、Weka实现决策树算法、Apache Spark MLlib分布式逻辑回归等案例，并提供代码示例。 自然语言处理：OpenNLP句子分割、Stanford CoreNLP命名实体识别、LingPipe情感分析等工具的应用实例。 计算机视觉：OpenCV人脸检测、BoofCV特征点匹配、ImageJ医学图像分析等场景的实
在 Elasticsearch 中落地 Learning to Rank（LTR）
hello.reader
08-02 793
本文介绍了在Elasticsearch中实现Learning-to-Rank(LTR)重排序的方案。LTR通过机器学习模型融合多维度特征（文档属性、查询属性、相关性等），对Top-K结果进行二阶段重排，能显著提升电商搜索、内容推荐等场景的相关性。文章详细阐述了从标注集构建、特征工程到XGBoost/LGBM模型训练的完整流程，并展示了如何在Elasticsearch 9.x中部署reranker服务，通过retriever+LTR二阶段查询实现实时重排。最后针对常见问题提供了解决方案，帮助开发者快速构建更精
升级 Elasticsearch 到新的 AWS Java SDK
最新发布
Elastic 中国社区官方博客
08-05 595
Elasticsearch即将从AWS Java SDK v1迁移至v2，原因是AWS将于2025年12月31日停止对旧版SDK的支持。迁移工作涉及重构测试代码以适应新版SDK的行为差异，主要影响区域自动检测、IMDS协议支持和端点URL格式等方面。虽然Elasticsearch 8.19.x及9.1.0+版本已内置兼容逻辑，但用户仍需注意配置调整，如明确指定S3区域、使用IMDSv2协议等。建议用户在升级前充分测试，确保平滑过渡。此次迁移旨在避免依赖已停止维护的组件可能带来的安全风险。
Flink Checkpoint机制：大数据流处理的坚固护盾
weixin_41870061的博客
08-01 635
Flink的Checkpoint机制是其实现容错的核心技术，通过定期保存作业状态快照确保数据一致性和故障恢复。文章详细解析了Checkpoint的工作原理，包括Barrier注入、状态快照、对齐机制等流程，阐述了精确一次和至少一次两种语义的实现差异。同时介绍了Checkpoint的配置参数、优化策略及在电商、金融等实际场景中的应用，为开发者提供了从理论到实践的完整指南。该机制有效解决了大数据流处理中的容错问题，是保障Flink作业稳定运行的关键技术。
云原生技术与应用-Kubernetes日志收集
2401_85836041的博客
08-01 616
metadata: {name: logging}，用于隔离日志相关组件。fluentd-es-configmap.yaml：Fluentd 配置，定义日志来源（/var/log/containers/*.log）和输出（发送到 Elasticsearch 的 9200 端口）。fluentd-es-ds.yaml：DaemonSet 配置，通过nodeSelector: {fluentd: "true"}指定部署节点，挂载节点的/var/log（容器日志目录）。
RabbitMQ面试精讲 Day 9：优先级队列与惰性队列
在未来等你的专栏
08-03 778
今日核心知识点优先级队列的配置与实现原理惰性队列的适用场景与性能特点Spring Boot整合配置要点生产环境的调优策略面试官喜欢的回答要点清楚两种队列的参数配置理解底层数据结构差异能分析不同场景的性能表现掌握实际项目调优经验明日预告：Day 10将深入讲解消息追踪与幂等性保证机制，确保消息可靠处理。
大数据课程笔记：Spark SQL与Hadoop实践应用
资源摘要信息:"本资源为《Spark SQL.xmind.zip》，是一份大数据课程的学习笔记，涵盖从基础概念到实际应用的各个重要知识点。学习笔记中详细地总结了Spark SQL的核心内容，并且联系到了大数据处理的广泛场景。文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值