专注于Scala语言、Hadoop及Spark大数据处理技术

王树民 王树民 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 900+累计阅读 914平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
转载 最新推荐文章于 2026-03-28 09:36:24 发布 914 阅读 AI 写同款· GEO 优化 ›
浅谈 Spark 的多语言支持 作者：郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC，Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年，先后专注在安全，存储和计算领域。之前在 Intel，目前转战阿里云上，致力于提供更好用更有弹性的 Hadoop/Spark 大数据平台。 Spark架构和设计上的优秀毋庸置疑，从一出道便抢了 Hadoop 的 C 位。在开源大数据的黄金十年一时风头... 阅读详情

摇摆少年梦的技术博客

专注于Scala语言、Hadoop及Spark大数据处理技术

RSS订阅
只看原创
排序：
默认
按更新时间
按访问量
原 Spark修炼之道（进阶篇）——Spark入门到精通：第十二节 Spark Streaming—— DStream Window操作

作者：周志湖 微信号：zhouzhihubeyond本节主要内容 Window Operation 入门案例 1. Window OperationSpark Streaming提供窗口操作（Window Operation），如下图所示： 上图中，红色实线表示窗口当前的滑动位置，虚线表示...

2015-11-29 15:38:20

阅读数：12730

评论数：4

原 Spark修炼之道（进阶篇）——Spark入门到精通：第十一节 Spark Streaming—— DStream Transformation操作

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html DStream Transformation操作 1. Transformation操作 Transformatio...

2015-11-25 23:54:57

阅读数：8962

评论数：1

原 Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operations Spark流式计算简介 Spark Streaming相关核心类 入门案例 1. Spa...

2015-11-21 22:34:46

阅读数：10813

评论数：4

原 Spark国内外书籍推荐

Spark的爆发式的成长，今年Spark相关书籍明显比去年那时候多得多，这里面所国内外目前所有的书籍推荐给大家。因为在网络上，不便于将书籍的电子版公开出来，需要的可以私信我或加我微信：zhouzhihubeyond国内Spark书籍： 《Spark大数据处理：技术、应用与性能优化》，作者：高彦杰...

2015-11-16 21:15:01

阅读数：12198

评论数：9

原 Spark修炼之道（高级篇）——Spark源码阅读：第十节 Standalone运行模式解析

Spark Standalone采用的是Master/Slave架构，主要涉及到的类包括：类：org.apache.spark.deploy.master.Master 说明：负责整个集群的资源调度及Application的管理。 消息类型： 接收Worker发送的消息 1. RegisterWo...

2015-11-09 23:35:09

阅读数：8616

评论数：6

原 Intellij IDEA 14.1.4 Scala开发环境搭建

主要内容 Intellij IDEA开发环境简介 Intellij IDEA Scala开发环境搭建 Intellij IDEA Spark开发环境搭建 Intellij IDEA常见问题及解决方案 Intellij IDEA常用快捷键 1. Intellij IDEA开发环境简介具体介绍请参见：...

2015-10-29 23:10:25

阅读数：64591

评论数：7

原 Spark修炼之道（高级篇）——Spark源码阅读：第九节 Task执行成功时的结果处理

Task执行成功时的结果处理在上一节中，给出了Task在Executor上的运行代码演示，我们知道代码的最终运行通过的是TaskRunner方法class TaskRunner( execBackend: ExecutorBackend, val taskId: Long,...

2015-10-29 19:34:56

阅读数：4690

评论数：3

原 Spark修炼之道（高级篇）——Spark源码阅读：第八节 Task执行

Task执行在上一节中，我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令，该命令的接收者是CoarseGrainedExecutorBackend（Standalone模式），类定...

2015-10-29 12:00:24

阅读数：5013

评论数：1

原 Spark修炼之道（高级篇）——Spark源码阅读：第七节 resourceOffers方法与launchTasks方法解析

在上一节中，我们提到Task提交通过makeOffers提交到Executor上 // Make fake resource offers on just one executor private def makeOffers(executorId: String) { ...

2015-10-28 21:38:42

阅读数：4156

评论数：5

原 Spark修炼之道（高级篇）——Spark源码阅读：第六节 Task提交

Task提交在上一节中的 Stage提交中我们提到，最终stage被封装成TaskSet，使用taskScheduler.submitTasks提交，具体代码如下：taskScheduler.submitTasks(new TaskSet( tasks.toArray, stage...

2015-10-27 23:49:05

阅读数：4309

评论数：0

原 Spark修炼之道（高级篇）——Spark源码阅读：第五节 Stage提交

Stage提交调用流程： 1.org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted 2. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitStage...

2015-10-26 17:45:45

阅读数：4111

评论数：1

原 Spark修炼之道（高级篇）——Spark源码阅读：第二节 SparkContext的创建

博文推荐：http://blog.youkuaiyun.com/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。 本文及后面的源码分析都以下列代码为样板i...

2015-10-25 00:03:42

阅读数：6023

评论数：7

原 Spark修炼之道（高级篇）——Spark源码阅读：第四节 Stage划分

Stage划分在上一节中我们讲了 Spark Job的提交，在该讲中我们提到，当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD...

2015-10-24 23:48:04

阅读数：6015

评论数：3

原 Spark修炼之道（高级篇）——Spark源码阅读：第三节 Spark Job的提交

前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{ def main(args...

2015-10-19 23:48:16

阅读数：7854

评论数：5

原 Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --cl...

2015-10-19 12:47:04

阅读数：12697

评论数：2

原 Spark 1.5.0 远程调试

Spark 1.5.0 远程调试作者：摇摆少年梦 微信号：zhouzhihubeyond先决条件 已安装好Spark集群，本例子中使用的是spark-1.5.0. 安装方法参见：http://blog.youkuaiyun.com/lovehuangjiaju/article/details/4849473...

2015-10-18 17:50:09

阅读数：12311

评论数：4

原 Spark修炼之道（基础篇）——Linux大数据开发基础：第十五节：基础正则表达式（一)

参考书目：鸟哥的LINUX私房菜基础学习篇（第三版） Linux Shell Scripting Cookbook本节主要内容 基础正则表达式 1. 基础正则表达式(1)^行开始符^匹配一行的开始，例如’^Spark’ 匹配所有Spark开始的行//grep -n...

2015-10-07 22:29:08

阅读数：4843

评论数：0

原 Spark修炼之道（基础篇）——Linux大数据开发基础：第十四节：Shell编程入门（六)

本文主要内容 case控制结构 read命令 管道 1. case控制结构参考：http://blog.youkuaiyun.com/dreamtdp/article/details/8048720 case控制结构语法格式：case expression in pattern1 ) ...

2015-10-06 16:13:18

阅读数：2721

评论数：0

原 Spark修炼之道（基础篇）——Linux大数据开发基础：第十三节：Shell编程入门（五)

本节主要内容 while循环控制结构 if条件判断 until循环控制结构1. while循环控制结构本节例子来源：http://blog.chinaunix.net/uid-25880122-id-2901409.html 语法格式： while expression do command c...

2015-10-05 21:14:54

阅读数：4353

评论数：2

原 Spark修炼之道（基础篇）——Linux大数据开发基础：第十二节：Shell编程入门（四)

本节主要内容 shell脚本调试 shell函数 shell控制结构初步 1. shell脚本调试当脚本出错时，需要对脚本进行调试，学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具，只需要要在脚本文件前加-x选项即可，创建debug.sh文件，内容如下：#!/b...

2015-10-05 17:44:49

阅读数：3372

评论数：1

收录于
spark

当前文章被收录于：

spark
55 篇文章 1 人学习
订阅专栏 查看详情
软件工程导论实践：从需求到架构的机票预订系统全流程解析 本文深入解析机票预订系统从需求分析到架构设计的全流程实践，涵盖业务流程、功能建模、模块化设计、性能优化等关键环节。通过实际项目经验，分享软件工程导论在复杂系统开发中的应用技巧，包括数据流图绘制、E-R图设计、微服务架构及高并发处理等实战策略，助力开发者构建高效可靠的机票预订系统。 阅读详情

相关推荐

绿联NAS使用docker部署immich【pro系统】

随后去绿联你想要存放immich的地方创建一个文件夹，便于区分，如图，我创建了一个immich的文件夹。1.进入文件夹后面是有斜杠的（tips：只需要敲击前面几个字母，按tab键自动补全）cd：进入路径，1.可以是当前的下一层相对路径 2.也可以是完整的全路径。前言：好像没有绿联的教程，刚好自己也有需求，就顺便记录了。如果你的挂载实战情况比较复杂，接下来是喂到胃里的知识点。】下载文件（群晖的，别慌，能用），两份，红框的就是。首先，没什么好说的，去immich官网【点击1.终端，2.新增，3.确定。

weixin_45343644的博客 1779

大数据Hadoop之——Scala基础

文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建 一、概述 Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言，当然Spark的兴起，也带动Scala语言的发展！官方文档：https://www.scala-lang.org/ 二、Scala发展历史 联邦理工学院的马丁·奥德

匠人精神，持之以恒！ 4944

《广告核心指标驱动的AI投放系统：从数据洞察到智能决策的全链路优化》

本方案通过构建广告核心指标驱动的AI投放系统，实现从数据采集到智能决策的全链路自动化。

专注Java领域与微服务架构，热爱人工智能与深度学习 1068

Spark大数据处理技术

Spark大数据处理技术

2301_77836489的博客 1060

n8n实战：动态报表生成与企业微信自动化推送

本文详细介绍了如何利用n8n实现动态报表生成与企业微信自动化推送的全流程。通过配置n8n Form触发器、智能报表生成核心逻辑以及企业微信Webhook推送，帮助企业大幅提升数据收集与报表推送效率，实现从数据录入到报表推送的全自动化处理。

weixin_29267307的博客 304

ROS2+MoveIt2+Gazebo仿真实战：从零搭建六轴机械臂控制闭环

本文详细介绍了如何从零搭建一个完整的ROS2+MoveIt2+Gazebo六轴机械臂仿真控制闭环。通过手写URDF模型、配置MoveIt2运动规划、集成Gazebo物理仿真与ROS2 Control控制器，最终实现RViz中规划轨迹、Gazebo中同步执行的完整数字孪生验证平台，为机器人算法开发和硬件验证提供低成本、高效的仿真解决方案。

weixin_29093017的博客 486

Spark之路：（一）Scala + Spark + Hadoop环境搭建

一、Spark 介绍 Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。 1.提供分布式计算功能，将分布式存储的数据读入，同时将任务分发到各个节点进行计算； 2.基于内存计算，将磁盘数据读入内存，将计算的中间结果保存在内存，这样可以很好的进

sage_wang的博客 1万+

【Unity】制作简易三维场景

本文介绍如何制作一个三维场景

CiNian_的博客 5333

大数据基础平台——Spark大数据处理

了解与掌握数据框的创建、选择、运算和聚合、增加、删除和修改、连接、变形。

Hydrox_的博客 1748

手把手教你RK3568 MIPI屏驱动适配，纯干货！

RK3568 作为一款高性能的多媒体处理器，在嵌入式领域中备受瞩目。它采用了先进的 22nm 制程工艺，搭载四核 Cortex-A55 处理器，这种架构为芯片提供了高效的功耗比，使其在运行各种复杂任务时，既能保证性能，又能有效控制功耗。在实际应用中，无论是多任务处理还是运行大型应用程序，RK3568 都能凭借其四核 Cortex-A55 处理器，实现流畅的操作体验，满足智能设备对高性能和低功耗的需求。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 4071

CesiumForUnreal实现地形等高线效果

CesiumForUnreal实现地形等高线效果

专注GIS开发 3437

hadoop上的spark和Scala安装与配置

进入 /opt/software/ 查看是否导入scala、spark包（刚开始就导入包了，这里直接查看）然后进行文件的托拽到（/opt/software）目录下，也可以复制哦（可以两个包一起导入）（2）进入 /opt/software/ 查看是否导入scala、spark包。然后用tar命令解压文件，解压到/usr/local/src/目录下。然后用tar命令解压文件，解压到/usr/local/src/目录下。（3）之后就进入/usr/local/src/目录。（2）配置spark的环境变量。

m0_74752246的博客 1707

Explorer.exe系统错误，电脑重启后刚开始一段时间正常，过一会桌面任务栏就卡死，可以打开任务管理器

联想E14Win10专业版。

本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。 8052

【Spark】Windows下安装Spark（亲测成功安装）

安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。

tttzzzqqq2018的博客 2万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过，这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后，重新检测通过。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用，资源的后缀为tar.gz格式的压缩包

入门spark和Scala

二，spark的特点与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中。Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便地在这些Shell中使用Spark集群来验证解决问题的方法。

2401_84170623的博客 635

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

认识spark和scala,让你月入过万

图计算的应用在很多情况下处理的数据量都是很庞大的。如果用户需要自行编写相关的图计算算法，并且在集群中应用，难度是非常大的。Scala 是一种纯粹的面向对象的语言，每个值都是对象。即可解决这个问题，因为它内置了许多与图相关的算法，如在移动社交关系分析中可使用图计算相关算法进行处理和分析。查询的大规模并行查询引擎，允许用户通过权衡数据精度缩短查询响应时间，数据的精度将被控制在允许的误差范围内。的缩写，是一种多范式的编程语言，由洛桑联邦理工学院的马丁。生态圈的一部分，专注于机器学习领域，学习门槛较低。

2301_80464770的博客 697

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料，已经经过了本人的筛选和整理，希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助！

今天来认识一下无聊的spark和scala基础理知识

Spark 应用程序计算的整个过程可以调用不同的组件，如 Spark Streaming 的实时流处理应用、SparkSQL的即席查询、BlinkDB 的权衡查询、MLlib/MLBase 的机器学习、GraphX的图处理和SparkR的数学计算等。Scala 是一种纯粹的面向对象的语言，每个值都是对象。一般情况下，对于迭代次数较多的应用程序，Spark程序在内存中的运行速度是Hadoop MapReduce运行速度的100多倍，在磁盘上的运行速度是Hadoop MapReduce运行速度的10多倍。

2301_77838071的博客 1074

大数据平台：Spark基础+Hadoop回顾

第一部分：dive in Spark Spark简述 旨在“使数据分析更快”的大数据处理框架。速度进步明显。 易用：使用更加简洁优雅的Scala语言编写，但同时也支持多种语言编程。 有完整强大的技术栈。 适应能力强，运行模式多样。 Spark提供的生态系统可一站式满足批处理、交互式查询和流数据处理这三个实际应用中基本的大数据处理类型。 多数情况下，Spark的任务是专注于数据的分析处理，数据存储...

iamzchi 826

精通Spark的开发语言：Scala最佳实践

Scala是一门以JVM为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言,此课程是大数据框架Spark的前置课程： 1，   Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala； 2，        虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和

wangruoze的专栏 1471

Spark亚太研究院王家林：从技术的…

2014-12-04 10:20 记者：林师授 整理：张伟      第二代大数据技术Spark  首先先来抛开这两种技术，谈一下大数据。大数据是数据的一种，数据处理到达一定复杂程度，或者数据规模到达一定程度的时候便会称之为大数据。在采访中王家林讲到：“其实关于大数据的处理本身包含两部分，一部分是数据的存储，另外一部分就是数据计算本身。目前而言谈大数据大家最常知道的技术是Hadoop，做得比较

u010490755的博客 2300

初识Hadoop与Spark

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（r

keeper42的博客 236

入门spark和Scala，【2024大数据开发最新学习路线

是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。Spark提供了统一的解决方案。SparkR：AMPLab发布的一个R语言开发包，使得R语言编写的程序不只可以在单机运行，也可以作为Spark的作业运行在集群上，极大地提升了R语言的数据处理能力。

sheji510的博客 701

Spark sprak与scala 介绍

如果用户需要自行编写相关的图计算算法，并且在集群中应用，难度是非常大的。即可解决这个问题，因为它内置了许多与图相关的算法，如在移动社交关系分析中可使用图计算相关算法进行处理和分析。理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）查询的大规模并行查询引擎，允许用户通过权衡数据精度缩短查询响应时间，数据的精度将被控制在允许的误差范围内。快速（计算的中间结果是存在于内存中），易用，通用，随处运行，代码简洁。整个应用的上下文，控制应用的生命周期。

a040607的博客 954

Spark大数据技术运行原理

这些应用程序来自Spark的不同组件，如Sparkshell.Spark Submit 交互式批处理、Spark Streaming实时流处理、Spark SQL快速查询、MLlib 机器学习、GraphX图处理等。(2)Spark Streaming是Spark API核心的一个存在可达到超高通量的扩展，可以处理实时数据流的数据并进行容错。Hadoop是一个分布式数据基础设施，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，这意味着我们不需要购买和维护昂贵的服务器硬件。

2302_80252080的博客 1226

核心知识——Spark的Why&How

核心知识——Spark的Why&How：本文主要介绍了 Spark 的核心优势和常用编程语言选择，并详细讲解了 Spark 伪分布式应该如何部署运行。

从知识输入到知识输出 2445
上一篇： ElasticSearch 6.x 学习笔记https://blog.youkuaiyun.com/column/details/18392.html
下一篇： Scala入门到精通
点赞 0
评论 0
书签 书签 0
王树民
王树民
博客等级 码龄10年 912粉丝 560原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值