大数据技术栈速览之：Spark

最新推荐文章于 2025-09-19 21:47:15 发布
原创 最新推荐文章于 2025-09-19 21:47:15 发布 · 246 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了SparkStreaming与Kafka的集成方案，对比了Receiver方式与Direct方式的优劣，并提供了SparkStreaming+Kafka调优的8个关键路径。
2024最新大数据技术栈解析：Hadoop vs Spark vs Flink
操作系统内核探秘的博客
10-02 1171
在数据量以“ZB”为单位激增的2024年，企业对数据处理的需求从“能处理”升级为“高效、实时、灵活”。Hadoop、Spark、Flink作为大数据技术栈的“三驾马车”，分别统治了批处理、内存计算、流处理三大场景。本文将覆盖三者的核心架构、技术原理、实战案例及2024年最新演进，帮助开发者和技术决策者快速掌握选型方法论。本文将按照“概念引入→原理对比→实战案例→选型指南”的逻辑展开。
大数据技术栈速览之：Parquet
10-09 900
几种hdfs文件存储格式的区别 Text:原始存储, RCFile:结合列存储和行存储的优缺点，Facebook于是提出了基于行列混合存储的RCFile，它是基于SEQUENCEFILE实现的列存储格式，它即满足快速数据加载和动态负载高适应的需求外，也解决了SEQUENCEFILE的一些瓶颈。该存储结构遵循的是“先水平划分，再垂直划分”的设计理念。先将数据按行水平划分为行组，这样一行的数据就可...
Spark技术栈整理
LiuKingJia的博客
07-28 970
一、当Spark on Hive时，Spark读不到hive的数据。刷新Spark的 缓存： REFRESH TABLE test.dws_d_driver
Spark技术栈
weixin_33866037的博客
04-20 510
Spark技术栈——SparkStreaming
weixin_47391932的博客
09-23 291
SparkStreaming 1. SparkStreaming有哪几种方式消费Kafka中的数据，它们之间的区别是什么？ 1.基于Receiver的方式 这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的（如果突然数据暴增，大量batch堆积，很容易出现内存溢出的问题），然后Spark ...
Spark技术栈——Spark SQL
weixin_47391932的博客
09-23 363
Spark SQL 1.请写出创建Dataset的几种方式？ 由DataFrame转化成为Dataset。 通过SparkSession.createDataset() 直接创建。 通过toDS方法隐式转换。 图 RDD / DataFrame / DataSet 转换关系 面试指导&技巧 考察Spark Dataset 的创建方法。基础问题，需要能够掌握相互之间的转换。 2.DataFrame 相对 rdd 有哪些不同？ RDD特点： RDD是一个懒执行的不可变的可以支持Lambda表达
Spark技术栈——Scala
weixin_47391932的博客
09-14 324
Scala 面试指导&技巧 Scala面试问题主要考察Scala语言的使用，一些区别与Java的特性会常问。下面节选了一些最常问的Scala问题，偏基础，需要能够回答。 1.Scala的偏函数能和我说说吗？ 偏函数（Partial Function），是数学概念，它不是“函数”的一种，它跟函数是平行的概念。 Scala中的Partial Function是一个Trait，其的类型为PartialFunction[A,B]，其中接收一个类型为A的参数，返回一个类型为B的结果。 举个例子： scala&
大数据技术栈速览之：KUDU
10-08 2780
Kudu是什么？有什么特性？它和Hadoop生态的关系是什么？有了HDFS和HBase，为什么还要用kudu？ 目录 Kudu产生的背景 Kudu是什么 kudu的使用场景 Kudu设计优势 kudu使用时的优势 kudu使用时的劣势 kudu基本原理 表与schema kudu的底层数据模型 Tablet的发现过程 kudu的写流程 kudu的读流程 ku...
大数据技术栈速览之：YARN
10-09 576
在Hadoop 2.0及后续版本中，MapReduce的调度部分被外部化并重新编写为名为Yarn的新组件，但Yarn执行调度与Hadoop上运行的任务类型无关，Yarn可在Hadoop上执行除MapReduce以外的工作。 YARN生产背景 MapReduce1.x存在的问题: ​ 1.JobTracker单点故障&节点压力大不易扩展&不支持mapreduce以外的计算框架（...
大数据技术栈速览之：Kafka
12-12 480
https://blog.youkuaiyun.com/lingbo229/article/details/80761778 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可...
计算机专业课《大数据技术》课程导览：开启数据智能时代
最新发布
宁静致远
09-19 490
介绍了计算机专业课《大数据技术》的技术体系、核心能力培养、课程价值等。
大数据之hadoop,spart全套全技术栈视频课程
02-28
大数据之hadoop,spart全套全技术栈视频课程,包含spark,hadoop,storm,kafka,mllib等组件的安装，编程等，依次从基础，进阶直到实际实践。
Python+大数据-Spark技术栈(四) SparkSQL
呆呆小哥的秘密基地
11-09 1611
Python+大数据-Spark技术栈(四) SparkSQL
30-Spark入门之Spark技术栈讲解、分区、系统架构、算子和任务提交方式
学习永不止步
07-19 1755
Spark入门之Spark技术栈讲解、分区、系统架构、算子和任务提交方式
Python+大数据-Spark技术栈(一) SparkBase环境基础
呆呆小哥的秘密基地
11-08 1223
Python+大数据-Spark技术栈(一) SparkBase环境基础
Spark二、Spark技术栈之Spark Core
eight_Jessen的博客
01-03 1497
spark核心：包括RDD、RDD算子、RDD的持久化/缓存、累加器和广播变量。
Spark一：Spark介绍、技术栈与运行模式
eight_Jessen的博客
01-02 1515
Spark官网。
不要错过，Hadoop、Spark 核心技术栈讲解
m0_67698950的博客
07-20 550
接下来会问实践上的经验，如做过的项目、生产应用的全过程、数据量有多大、性能遇到问题怎么调优解决的等等……我曾经意识到这个问题后，在网上搜索了大量的学习资料和书籍，虽然也有收获，但没有系统的操作过，连基本的思维逻辑、整个架构设计无从下手，根本解决不了这个问题。其中包括需求、分析、架构设计、模型设计、技术选型、开发流程、开发规范、测试过程、部署监控、项目调优等，真实地还原了实际企业的工作场景。面试进展到这一阶段，就会难倒一大批人，对于有工作经验的人，面试官会更看重你在项目中承担的角色，遇到问题的解决方法等。..
大数据技术之Spark
2503_91105521的博客
03-11 4377
StandAlone的原理?Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群)Standalone如何提交Spark应用？4040\8080\18080分别是什么?4040是单个程序运行的时候绑定的端口可供查看本任务运行情况Job\State\Task的关系?一个Spark程序会被分成多个子任务(Job)运行, 每一个Job会分成多个State(阶段)来 运行, 每一个State内会分出来多个Task(线程)来执行具体任务。
IT技术图谱全览：48张关键图表解析
它涉及数据的收集、存储、分析和可视化等多个环节，常与Hadoop、Spark等技术框架相结合。 #### 人工智能 人工智能(AI)是计算机科学的一个分支，致力于研究使计算机模拟人类智能的技术。AI的发展推动了机器学习、...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值