spark 学习 基础篇

最新推荐文章于 2024-06-30 08:00:00 发布
转载 最新推荐文章于 2024-06-30 08:00:00 发布 · 173 阅读 · 0

http://blog.youkuaiyun.com/u013063153/article/details/52988241

https://aiyanbo.gitbooks.io/spark-programming-guide-zh-cn/content/graphx-programming-guide/pregel-api.html

Spark基础知识梳理
Sheenky的博客
08-13 1897
spark解决的问题：海量数据的计算，可以进行离线批处理以及实时流计算spark模块：sparkcore、SQL、流计算（SparkStreaming）、图计算（Graphx）、机器学习（MLib）spark特点：速度快、使用简单、通用性强、多模式运行spark运行模式本地模式集群模式云模式spark的运行角色MASTER：集群资源管理者（类同ResourceManager)worker：单机资源管理者（类同NodeManager)......
Spark 基础知识点
是个吃不饱的人
11-06 1223
Spark 基础知识点
Spark配置参数
Camu7s的专栏
01-26 3961
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志
spark学习——scala基础篇
nicole_33的博客
10-13 3151
1、基础语法 1.1 两种变量类型 Val：不可变，在声明时就必须进行初始化，且初始化后就不能被再次赋值 Var：可变，在声音是需要进行初始化，但后续还可以进行再次赋值 在Scala中声明变量必须有这两者其一的定义，但类型不是必须的，因为Scala可以自己判断。 1.2 控制台输入输出语句 输入：scala.io.Stdln read 输出：print()、println()、printf() 1.3 读写文件 写入文件：java.io.PrintWriter 读取文件：Scala.io.Source
第一部分：Spark基础篇
index_test的博客
09-05 7569
Spark基础篇包含：job运行流程、任务提交阶段、运行原理、与MR的区别、RDD、DAG、算子类等知识点
spark 学习-基础篇
xsdxs的博客
11-13 517
背景最近被分配一条任务，给组里小伙伴介绍下spark基础，然后做了个ppt，现把这ppt共享下！有需要的小伙伴也可以直接在这ppt上进行修改。 因个人也是初学者，ppt所写内容若有不当之处，欢迎各路大神批评指正。
大数据笔记--Spark机器学习（第一篇）
热门推荐
我睡觉的时候不困
04-05 2万+
一、数据挖掘与机器学习 1、概念 2、人工智能 3、数据挖掘体系 二、机器学习 1、什么是机器学习 2、机器学习的应用 3、实现机器学习算法的工具与技术框架 三、Spark MLlib介绍 1、简介 2、MLlib基本数据类型 Ⅰ、概述 Ⅱ、本地向量 Ⅲ、向量标签的使用 Ⅳ、本地矩阵 Ⅴ、分布式矩阵的使用 3、MLlib统计量基础 Ⅰ、概述 Ⅱ、计算基本统计量 Ⅲ、计算相关系数 四、距离度量和相似度度量 1、概念 2、欧氏距离 3、曼哈顿距离 4、切比雪夫距离
【大数据学习篇12】 Spark项目实战-数据可视化
m0_56073435的博客
05-31 6081
SpringBoot 的设计目的是为了简化Spring应用的初始搭建以及开发过程，摆脱复杂的手动配置，能迅速搭建起一个Java Web项目。MyBatis是一个开源的数据持久层框架，其内部封装了JDBC访问数据库的操作，支持普通的SQL查询、存储过程和高级映射。Echarts是一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，提供了多种丰富的可视化类型。多学一招：Phoenix查询引擎与MyBatis。
Spark机器学习：MLlib
人邮异步社区
07-18 1637
本章主要介绍Spark的机器学习套件MLlib。MLlib从功能上说与Scikit-Learn等机器学习库非常类似，但计算引擎采用的是Spark，即所有计算过程均实现了分布式，这也是它和其他机器学习库最大的不同。但读者在学习MLlib的时候，大可不必关注其分布式细节，这是MLlib组件与其他组件很不一样的地方，这里不用考虑GraphX、Structured Streaming中的关键抽象、分布式计算框架，而只需关注那些机器学习任务本身的一些东西，如参数、模型、工作流、测试、算法调优等。 本章包含以下内容：
大数据-Hadoop-基础篇-第十章-Spark
Blueeyedboy521的博客
06-30 2031
Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。SparkSQL。
精选资源
Spark性能优化指南——基础篇
02-25
Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数...
精选资源
用Spark进行大数据处理之机器学习篇
01-27
RDD提供了对数据并行操作的基础，Spark MLlib利用这些操作实现了多种机器学习算法，如相关性分析、分类（如逻辑回归、决策树）、回归（如线性回归）、协同过滤（用于推荐系统）、聚类（如K-means）以及降维方法（如...
Spark MLlib 机器学习库基础算法全面解析及完整测试文件详解
08-17
本篇文档不仅仅是一个对Spark MLlib算法的全面解析，它还通过实际测试文件来强化学习效果，并提供了一个完整的大数据机器学习工作流程。通过深入学习本内容，读者能够熟练运用Spark MLlib解决实际问题，并在大数据...
【Spark篇01】Spark基础入门和环境安装 1
08-04
在本文中，我们将深入探讨Spark的基础知识，包括其特性、核心组件、安装过程以及它如何与Hadoop生态系统兼容。 首先，Spark的速度是其最显著的特点。与传统的Hadoop MapReduce相比，Spark通过利用内存计算，能够...
pro-3896-master.zip
最新发布
12-26
pro-3896-master.zip
ACM算法竞赛资料快速求树中与结点x距离不超过k的点权和
12-26
ACM-ICPC/CCPC/XCPC算法竞赛资料快速求树中与结点x距离不超过k的点权和
ACM-ICPC/CCPC/XCPC算法竞赛资料排列组合枚举
12-26
ACM-ICPC/CCPC/XCPC算法竞赛资料排列组合枚举
Python语言程序设计第五章作业
12-26
先展示下效果 https://pan.quark.cn/s/9f90bcd2b9e8 ProxyPool Build Status 跨语言高性能IP代理池，Python实现。 注意：请运行程序前先更新一下抓取代理的爬虫。 运行环境 Python 3.6 (请务必保证Python的版本在3.6以上，否则异步检验无法使用。 ) Redis Redis官网并没有提供Windows的安装版，Windows用户可以点击此处下载一个我自己编译的二进制版本(3.2版本2.7MB，VS 2015编译)。 安装 ① 直接使用 安装依赖 Windows用户如果无法安装lxml库请点击这里。 打开代理池和API ② 安装使用 安装 打开代理池和API 使用API获取代理 访问进入主页，如果显示'Welcome'，证明成功启动。 pic 访问可以获取一个可用代理。 pic 访问可以获取代理池中可用代理的数量。 pic 也可以在程序代码中用相应的语言获取，例如: 文件结构 picture picture
基于Transformer架构的金融时间序列预测与量化交易策略研究项目_该项目核心是一个利用深度学习Transformer模型对金融市场时间序列数据进行建模和预测的系统通过PVO.zip
12-26
基于Transformer架构的金融时间序列预测与量化交易策略研究项目_该项目核心是一个利用深度学习Transformer模型对金融市场时间序列数据进行建模和预测的系统通过PVO.zip
Spark性能优化基础篇：开发与资源调优
"Spark性能优化指南——基础篇"深入探讨了在大数据计算领域广泛应用的Spark平台，其强大的功能使其在离线批处理、SQL查询、实时流处理、机器学习和图计算等方面表现出色。在美团和大众点评等企业，Spark因其快速执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值