spark_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

开源技术探险家

开源模型应用落地-语音合成-Spark-TTS-长文本高效自然的中文语音合成体验（一）本文详细介绍 Spark-TTS 在长文本处理方面的实际应用方法。

阅读 1.1w

21赞

基于Hadoop和Spark研究抖音app对大学生用户的影响标题:基于Hadoop和Spark研究抖音app对大学生用户的影响内容:1.摘要随着移动互联网的迅速发展，抖音app在大学生群体中广泛流行。本研究旨在基于Hadoop和Spark技术，深入探究抖音app对大学生用户的影响。研究方法上，收集了1000名大学生使用抖音app的数据，利用Hadoop的分布式存储和Spark的快速计算能力进行数据处理与分析。结果显示，约70%的大学生每周使用抖音app超过10小时，且40%的学生表示抖音影响了他们的学习时间分配。同时，抖音丰富的内容也为约60%的学生提供了知识拓展

阅读 1.0k

22赞

B站计算机毕业设计大学

计算机毕业设计hadoop+spark+hive交通客流量预测系统智慧交通大数据毕业设计(源码+文档+PPT+讲解视频) 计算机毕业设计hadoop+spark+hive交通客流量预测系统智慧交通大数据毕业设计(源码+文档+PPT+讲解视频)

阅读 990

28赞

金汐脉动 | PulseTide

ESP-SPARKBOT AI 智能机器人：v1.2 全流程复刻指南本文介绍 ESP-SPARKBOT AI 智能机器人 v1.2 版本的全流程复刻，包含 PCB 、3D 打印、固件烧录、常见问题解决、参考资料等

阅读 5.2k

44赞

豆包程序员

Python基于Spark的电影推荐系统设计与实现_2l8s6_ 大屏可视化后端开发采用 Python 及 Django 框架，Python 丰富的库和简洁语法可高效实现业务逻辑，Django 强大的数据库抽象层、内置功能组件等，能快速搭建稳定的后端服务。前端运用 Vue.js 构建交互界面，其组件化开发和数据驱动特性可提升用户体验开发语言：Python框架：flask和djangoPython版本：python3.7+开发软件：PyCharm/vscode数据库：mysql数据库工具：Navicat。

阅读 929

30赞

基于大数据爬虫+Spark+Python数据可视化大屏的汽车行业大数据分析系统(源码+论文+PPT+部署文档教程等) 随着汽车行业的不断发展和市场竞争的日益激烈，汽车企业迫切需要借助大数据技术来实现数据的深度挖掘和分析，以提升产品的竞争力和市场占有率。然而，传统的数据处理方式已经无法满足大数据时代的需求，因此需要开发一款集成了数据采集、处理、分析和可视化的高级平台，以应对复杂多变的市场环境和业务需求，而汽车行业大数据分析系统是一款集成了数据采集、处理、分析和可视化汽车信息展示级平台，旨在推动企业数字化转型、增强竞争力。

阅读 8.9k

83赞

XiaoQiong.Zhang

Spark 性能调优七步法分类内容1. 资源配置内存/核数/超越内存配置2. 分区并行度repartition / shuffle 分区3. 数据缓存persist 级别 / 释放时机4. GC 优化G1GC / JVM 堆 / GC 日志5. UDF 逻辑pandas UDF / Spark SQL 替代6. Shuffle 优化join 类型 / 倾斜解决方案7. 作业控制AQE / checkpoint / 分步执行本指南可配合 Spark UI 、YARN UI 和 GC 日志进行实际分析。

阅读 854

7赞

大数据技术之Spark StandAlone的原理?Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群)Standalone如何提交Spark应用？4040\8080\18080分别是什么?4040是单个程序运行的时候绑定的端口可供查看本任务运行情况Job\State\Task的关系?一个Spark程序会被分成多个子任务(Job)运行, 每一个Job会分成多个State(阶段)来运行, 每一个State内会分出来多个Task(线程)来执行具体任务。

阅读 2.7k

26赞

睡到自然醒吧

头歌-Spark SQL 多数据源操作（Scala）读取本地文件 file:///data/bigfiles/demo2.json，使用 Parquet 完成分区，列名为 student=2，保存到本地路径file:///result/下。读取本地文件 file:///data/bigfiles/demo.json，使用 Parquet 完成分区，列名为 student=1，保存到本地路径file:///result/下。{"id":1005,"name":"李晓玲","age":19,"class":"大数据一班"},

阅读 1.8k

11赞

Spark期末复习题库 spark期末复习题题库

阅读 3.7k

22赞

魔法少女樱

在sheel中运行Spark 在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。Resilient Distributed Dataset 叫做弹性分布式数据集，是Spark中最基本的数据抽象，是分布式计算的实现载体，代表一个不可变，可分区，里面的元素并行计算的集合。RDD的分区是RDD数据存储的最小单位。举个生活中的例子：高考的时候，每个班的同学都打散到不同的考场，此时的高3（8）班就是一个抽象的概念，在实际中，这个班级的学生可能分布在5个不同的考场。

阅读 760

23赞

Hadoop 与 Spark：大数据框架的对比与融合 Hadoop 和 Spark 是大数据处理领域的两大主流框架，各自具有独特的优势和适用场景。Hadoop 以分布式文件系统（HDFS）和 MapReduce 计算模型为核心，适合处理大规模批处理任务，尤其在成本效益和容错性方面表现突出。而 Spark 则通过内存计算显著提升了处理速度，特别适用于迭代计算、实时流处理和机器学习等场景。尽管两者在性能、内存利用率和集群管理上存在差异，但它们通常协同工作，Spark 依赖 Hadoop 的 HDFS 进行数据存储。

阅读 8.0k

147赞

pyspark详细讲解 pyspark教程讲解主讲，RDD数据输入，计算，输出（主讲），Hadoop依赖问题简述，map()运行问题简述

阅读 1.7k

13赞

闫哥大数据

大数据技术之Spark优化由于 Spark SQL 所在 stage（阶段）的并行度无法手动设置，如果数据量较大，并且此 stage（阶段）中后续的 transformation 操作有着复杂的业务逻辑，而 Spark SQL 自动设置的 task（任务）数量很少，这就意味着每个 task（任务）要处理为数不少的数据量，然后还要执行非常复杂的处理逻辑，这就可能表现为第一个有 Spark SQL 的 stage（阶段）速度很慢，而后续的没有 Spark SQL 的 stage（阶段）运行速度非常快。

阅读 883

17赞

在Spark中，`reduceByKey`和`groupByKey`的主要区别是什么？ I won't pretend that I don't care-Take in the weight each moment bears-Fresh air so crisp, water so clear-Caterpillars dream, butterflies fеar

阅读 800

8赞

B站计算机毕业设计大学

计算机毕业设计hadoop+spark+hive在线教育可视化课程推荐系统大数据毕业设计(源码+LW文档+PPT+讲解) 计算机毕业设计hadoop+spark+hive在线教育可视化课程推荐系统大数据毕业设计(源码+LW文档+PPT+讲解)

阅读 920

17赞

Kafka+Spark-Streaming实现流式计算（WordCount）下载spark-token-provider-kafka-0-10_2.12-3.2.0.jar：https://mvnrepository.com/artifact/org.apache.spark/spark-token-provider-kafka-0-10_2.12/3.1.1。将/home/ZQ/software/kafka/libs目录下的kafka-clients-3.0.0.jar拷贝到/home/ZQ/software/spark-3.1.1-bin-hadoop2.7/jars目录下。

阅读 1.3k

25赞

Spark中常见的数据倾斜现象及解决方案在Spark中，数据倾斜（Data Skew）是一个常见的问题，它会导致某些任务处理的数据量远大于其他任务，从而引发性能瓶颈，降低整个作业的执行效率。以下是Spark中常见的数据倾斜现象及其解决方案。‌某些任务执行时间过长‌：‌资源利用率不均衡‌：‌Shuffle阶段性能瓶颈‌：‌作业失败或内存溢出‌：‌数据分布不均‌：‌Join操作中的倾斜‌：‌数据预处理不当‌：‌加盐（Salting）‌：‌自定义Partitioner‌：‌避免使用‌：‌使用代替‌：‌过滤异常数据‌：‌重新分区（Repartitioni

阅读 1.8k

41赞

TTXS123456789ABC

7 Spark 底层执行原理 Spark 运行流程Spark运行流程具体运行流程如下：1.SparkContext 向资源管理器注册并向资源管理器申请运行 Executor2.资源管理器分配 Executor，然后资源管理器启动 Executor3.Executor 发送心跳至资源管理器4.SparkContext 构建 DAG 有向无环图5.将 DAG 分解成 Stage（TaskSet）6.把 Stage 发送给 TaskScheduler。

阅读 1.3k

13赞

大数据洞察

大数据领域Spark的集群扩展与弹性伸缩 Spark集群资源管理的基本原理静态扩展与动态伸缩的实现方式在不同集群管理器(YARN、Mesos、Kubernetes)下的伸缩策略性能优化与最佳实践文章首先介绍Spark核心架构和资源管理模型，然后深入探讨静态扩展和动态伸缩的实现机制，接着通过实际案例展示具体实现，最后讨论性能优化和未来发展趋势。Driver：Spark应用的主控进程，负责将用户程序转换为任务Executor：在工作节点上运行的任务执行器：底层资源管理系统(YARN、Mesos、Kubernetes等)

阅读 908

19赞

作者推荐

Gae Immortal: 心之所向，身之所往

关注

qrh_yogurt: 学习分享

关注

自然术算: 道阻且长，行则将至；行而不辍，未来可期。

关注

lix的小鱼: 哒哒哒

关注

Amu_Yalo: 纯学习作业

关注

小白的大数据历程: 大数据新手

关注

谁偷了我的炒空心菜: 勤勤恳恳写作业（学习咋就这么难。。。）

关注

月初，: 只要有了目标，那就沿着这条路走下去吧

关注

fightingD&W: 团结紧张严肃活泼

关注

涤生大数据: 在职阿里，美团，京东，字节大数据技术专家，擅长大数据开发，集群架构/运维，爱好python数据分析/爬虫, 加 v: dsflink 可免费转行评估，职业规划，校招规划，大数据进阶指导，简历把脉欢迎一起交流

关注