大数据Hadoop、spark笔记 第四章：流计算

已于 2024-04-12 22:56:58 修改
阅读量404 收藏 7
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Hadoop+Spark 文章标签： spark
于 2024-04-08 12:34:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45738761/article/details/137503993
最低0.47元/天 解锁文章

200万优质内容无限畅学
2021年 全网最细大数据学习笔记（一）：初识 Hadoop
棒棒编程修炼场
04-04 4万+
文章目录一、大数据1、大数据的定义2、大数据的特点3、大数据行业应用4、Hadoop 与大数据5、其他大数据处理平台6、大数据人才三、 一、大数据 随着近来计算机技术和互联网的发展，大数据 这个名词越来越多地进入到我们的视野中，大数据的快速发展也无时刻影响着我们的生活。 1、大数据的定义 大数据从字面来理解就是 大量的数据。日常生活离不开数据，可以说每时每刻都在产生着数据。例如，一分钟可以做些什么事呢？在日常生活中，一分钟可能连一页书都看不完。但是一分钟内产生的数据却是庞大的。据统计，在一分钟内，YouTu
大数据Hadoop、spark笔记 第三章：Spqrk应用基础
qq_45738761的博客
04-08 609
reduceByKey先生成（“spark”,[(6,1),(4,1)]）然后lambda[(6,1),(4,1)]得到（Hadoop,(10,2)），意为hadoop两天共卖出10本。例：有两个表userdata和event，前者包含用户ID和用户数据（一个大表，有10000项），后者包含用户ID和用户行为（小表，有1000项）。重新分区，需传入两个参数：（分区数，自定义的分区类）。在实际处理数据时，大量数据会放在多个主机中，每个主机分别多线程处理数据，之后将处理好的数据汇总到一个master节点整合。
大数据Hadoop、spark笔记 第二章 spark设计与原理
qq_45738761的博客
04-08 734
Task Scheduler：负责每个stage里task的分配：ececutor启动后，Worker Node会主动向Task Scheduler申请任务，Task Scheduler负责分发。分发任务的基本原则：计算向数据靠拢---如果数据在机器A上，那么优先让机器A执行该任务，避免额外的数据传输开销。阶段Stage：Job的基本调度单位，一个job分为多组task，每组task称为一个stage/taskSet，代表一组关联的、没有依赖关系的任务集。YARN---应用最广。RDD是只读的，不能修改。
第一章 大数据Hadoop学习笔记(一）
weixin_42561051的博客
06-21 458
学习笔记（一）
大数据Hadoop、spark笔记（一）
qq_45738761的博客
04-08 512
不会，二者根本不是对等的关系，spark可能取代MapReduce，但HDFS分布式存储机制没有什么缺陷。对数据进行不同的操作可能用到不同的技术，因此需要多种框架。在做流计算时spark只能用批处理模拟流模型，因此flink的流计算略快于spark。Hive：本身并不存储数据，可以理解为是一个编程接口，将SQL语句转化成对HDFS的命令。底层来看，spark效率更高。Spark：计算框架，可以实现批处理、流计算、机器学习、图计算等算法。使用大数据应具备的思维：全样而非抽样，效率而非精确，相关而非因果。
笔记：python spark机器学习与hadoop大数据
qq_55643803的博客
01-06 1892
机器学习技术不断进步， 应用相当广泛， 例如推荐引擎、 定向广告、需求预测、垃圾邮件过滤、 医学诊断、 自然语言处理、 搜索引擎、 欺诈检测、 证券分析、 视觉识别、 语音识别、 手写识别等。ApacheSpark是开放源码的集群运算框架，由加州大学伯克利分校的AMPLab开发。Spark是一个弹性的运算框架，适合进行Spark Streaming数据流处理、Spark SQL互动分析、MLlib机器学习等应用，因此Spark可作为一个用途广泛的大数据运算平台。Spark 允许用户将数据。
【大数据】Spark学习笔记
passnight的博客
01-04 1692
Spark学习笔记; 包含了Spark的基本概念/调度器/优化/RDD算子及SparkSQL的相关概念
【大数据】Hadoop学习笔记
passnight的博客
06-24 1548
Hadoop学习笔记, 包含了HDFS/YARN/MapReduce的学习笔记
Hadoop大数据开发技术第一章笔记
m0_67419104的博客
07-14 152
Hadoop大数据开发技术第一章笔记（快速复习巩固提高）
91-基于Spark的空气质量数据分析可视化系统
qq_53846367的博客
07-30 1696
本文介绍了一个基于Spark的空气质量大数据分析可视化系统。该系统采用分布式计算架构，整合了数据采集、分析、预测和可视化功能，覆盖全国12个主要城市的空气质量监测。系统技术栈包括Django、Spark、Hive、MySQL等，实现了从数据爬取到可视化展示的完整流程。核心功能包含多城市数据采集、Spark分布式分析、机器学习预测及交互式可视化。项目特色在于采用Spark 3.x进行高效计算，构建了完整的数据科学流程，并提供了直观的Web界面展示分析结果。该系统为空气质量监测提供了科学高效的技术解决方案。
pyspark中的kafka的读和写案例操作
不辉放弃的博客
08-05 262
本文介绍了PySpark操作Kafka进行数据读写的完整实现方案。主要内容包括：1）通过spark-sql-kafka依赖包实现集成；2）分别演示流处理和批处理两种方式读取Kafka数据，涵盖数据转换（二进制转字符串、JSON解析）等关键操作；3）展示流式和批量写入Kafka的实现方法，强调数据格式转换和必要参数配置；4）详细说明关键参数如bootstrap.servers、offset设置、检查点位置等注意事项；5）提供运行环境准备和版本匹配建议。该方案完整覆盖了PySpark与Kafka交互的核心场景和
Pyspark的register方法自定义udf函数
不辉放弃的博客
08-02 612
PySpark中的register方法用于将自定义函数(UDF)注册到SparkSQL中，使其可以在SQL语句中直接调用。该方法通过spark.udf.register()调用，需要指定函数名称、Python函数和返回类型。注册后的UDF支持单参数、多参数和复杂返回类型，并可在SQL和DataFrame API中使用。使用时需注意函数命名冲突、类型匹配、空值处理等问题，且由于涉及Python与JVM的交互，性能低于内置函数。register方法与@udf装饰器可结合使用，为SparkSQL提供灵活的功能扩展
Spark Shuffle性能优化实践指南：提升大数据处理效率
qq_35716689的博客
08-01 838
本文深入剖析Spark Shuffle的工作原理与性能瓶颈，结合源码与配置示例，提供全面的优化策略，帮助后端开发者在大数据处理场景中提升Shuffle效率，降低资源消耗。
Spark SQL 的 SQL 模式和 DSL模式
不辉放弃的博客
07-31 795
摘要：本文介绍了使用SparkSQL实现WordCount功能的两种方法：SQL模式和DSL模式。在SQL模式中，通过注册临时视图并编写SQL语句实现单词拆分、过滤和计数；DSL模式则利用DataFrame API的方法链完成相同功能。两种方法均涉及关键函数split、explode和groupBy的使用。文章对比了两者的特点：SQL模式适合熟悉SQL的用户处理复杂查询，而DSL模式更适合开发者进行程序化数据处理。最后提供了完整的PySpark代码示例，展示了两种实现方式的具体应用和相同输出结果。
基于 Spark 的平均值计算：Java 实现全流程解析
专注于深入研究多种编程语言，以实战为导向，逐步拓展开发技能，提升工程化编码和思维能力，展现无敌技术实力。
08-05 35
基于 Spark 的平均值计算，本文以 Java 为语言，详细解析从数据准备、RDD 转换、数值提取到平均值计算的全流程。通过并行处理实现高效计算，提升大数据环境下的性能与稳定性。适合初学者和实践者快速掌握 Spark 分布式计算核心技能，轻松应对海量数据统计任务。
Apache Spark 的结构化流
不辉放弃的博客
08-04 597
ApacheSpark的结构化流（Structured Streaming）是一个基于DataFrame/Dataset API的高级流处理框架，核心思想是将流数据视为"无限表"，支持批流统一的处理方式。它提供两种处理模式：默认的微批处理（延迟约100ms-几秒）和实验性的连续处理（毫秒级延迟）。框架包含输入源、处理逻辑和输出接收器三大组件，支持多种数据源和输出模式（Append/Complete/Update）。通过Watermark机制处理延迟数据，利用检查点和预写日志实现精确一次语
用 Spark 找出最大值：高性能计算的正确姿势
专注于深入研究多种编程语言，以实战为导向，逐步拓展开发技能，提升工程化编码和思维能力，展现无敌技术实力。
08-05 44
在海量数据中找出最大值，用 for 循环慢吞吞不如交给 Spark 并行处理。本文通过 Java 与 Spark 搭配，展示如何高效、优雅地计算最大值，让你轻松掌握高性能数据处理的正确姿势。
让 Spark 干体力活：用 Java 快速找出最小值
最新发布
专注于深入研究多种编程语言，以实战为导向，逐步拓展开发技能，提升工程化编码和思维能力，展现无敌技术实力。
08-05 36
用 Java 搭配 Spark，让数据处理不再是单线程苦活。通过 JavaSparkContext 并行化对象集合，快速提取目标字段并计算最小值，轻松应对海量数据场景。本文介绍如何用简洁代码高效完成最小值计算，兼顾性能和易用，助你在大数据处理中游刃有余，释放 Spark 的强大算力，让复杂任务变得轻松。
SparkKV转换算子实战解析
A_Real_Beast的博客
08-02 1025
本文介绍了Spark中常用的KV算子及其应用场景。主要内容包括：parallelizePairs和mapToPair用于创建KV数据流；mapValues可保持K不变操作V；groupByKey按K分组，而reduceByKey则在分组基础上进行聚合优化，性能更优；sortByKey支持按K排序。文章通过WordCount案例演示了KV算子的组合使用，并比较了reduceByKey与groupByKey的区别，强调reduceByKey的预聚合优势。此外，还提供了通过K或V分组的模板代码。这些KV算子为处理
Hadoop权威指南第四版：深入解析与实践
这本第四版经过修订和更新，专门针对Hadoop 2进行了讨论，并新增了关于YARN以及与Hadoop相关的项目如Parquet、Flume、Crunch和Spark的内容。 在书中，读者将了解Hadoop的基础组件，包括： 1. **MapReduce**：这是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值