spark 学习 基础篇

最新推荐文章于 2024-06-30 08:00:00 发布
最新推荐文章于 2024-06-30 08:00:00 发布
阅读量151 收藏
点赞数 1
分类专栏： spark学习

http://blog.youkuaiyun.com/u013063153/article/details/52988241

https://aiyanbo.gitbooks.io/spark-programming-guide-zh-cn/content/graphx-programming-guide/pregel-api.html

Spark基础知识梳理
Sheenky的博客
08-13 1811
spark解决的问题：海量数据的计算，可以进行离线批处理以及实时流计算spark模块：sparkcore、SQL、流计算（SparkStreaming）、图计算（Graphx）、机器学习（MLib）spark特点：速度快、使用简单、通用性强、多模式运行spark运行模式本地模式集群模式云模式spark的运行角色MASTER：集群资源管理者（类同ResourceManager)worker：单机资源管理者（类同NodeManager)......
用Spark进行大数据处理之机器学习篇
01-27
RDD提供了对数据并行操作的基础，Spark MLlib利用这些操作实现了多种机器学习算法，如相关性分析、分类（如逻辑回归、决策树）、回归（如线性回归）、协同过滤（用于推荐系统）、聚类（如K-means）以及降维方法（如...
Spark配置参数
Camu7s的专栏
01-26 3791
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志
spark学习——scala基础篇
nicole_33的博客
10-13 3062
1、基础语法 1.1 两种变量类型 Val：不可变，在声明时就必须进行初始化，且初始化后就不能被再次赋值 Var：可变，在声音是需要进行初始化，但后续还可以进行再次赋值 在Scala中声明变量必须有这两者其一的定义，但类型不是必须的，因为Scala可以自己判断。 1.2 控制台输入输出语句 输入：scala.io.Stdln read 输出：print()、println()、printf() 1.3 读写文件 写入文件：java.io.PrintWriter 读取文件：Scala.io.Source
第一部分：Spark基础篇
index_test的博客
09-05 7365
Spark基础篇包含：job运行流程、任务提交阶段、运行原理、与MR的区别、RDD、DAG、算子类等知识点
spark 学习-基础篇
xsdxs的博客
11-13 496
背景最近被分配一条任务，给组里小伙伴介绍下spark基础，然后做了个ppt，现把这ppt共享下！有需要的小伙伴也可以直接在这ppt上进行修改。 因个人也是初学者，ppt所写内容若有不当之处，欢迎各路大神批评指正。
大数据笔记--Spark机器学习（第一篇）
热门推荐
我睡觉的时候不困
04-05 2万+
一、数据挖掘与机器学习 1、概念 2、人工智能 3、数据挖掘体系 二、机器学习 1、什么是机器学习 2、机器学习的应用 3、实现机器学习算法的工具与技术框架 三、Spark MLlib介绍 1、简介 2、MLlib基本数据类型 Ⅰ、概述 Ⅱ、本地向量 Ⅲ、向量标签的使用 Ⅳ、本地矩阵 Ⅴ、分布式矩阵的使用 3、MLlib统计量基础 Ⅰ、概述 Ⅱ、计算基本统计量 Ⅲ、计算相关系数 四、距离度量和相似度度量 1、概念 2、欧氏距离 3、曼哈顿距离 4、切比雪夫距离
Spark 基础知识点
是个吃不饱的人
11-06 1112
Spark 基础知识点
大数据-Hadoop-基础篇-第十章-Spark
Blueeyedboy521的博客
06-30 1803
Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。SparkSQL。
Spark机器学习：MLlib
人邮异步社区
07-18 1556
本章主要介绍Spark的机器学习套件MLlib。MLlib从功能上说与Scikit-Learn等机器学习库非常类似，但计算引擎采用的是Spark，即所有计算过程均实现了分布式，这也是它和其他机器学习库最大的不同。但读者在学习MLlib的时候，大可不必关注其分布式细节，这是MLlib组件与其他组件很不一样的地方，这里不用考虑GraphX、Structured Streaming中的关键抽象、分布式计算框架，而只需关注那些机器学习任务本身的一些东西，如参数、模型、工作流、测试、算法调优等。 本章包含以下内容：
【大数据学习篇12】 Spark项目实战-数据可视化
m0_56073435的博客
05-31 4948
SpringBoot 的设计目的是为了简化Spring应用的初始搭建以及开发过程，摆脱复杂的手动配置，能迅速搭建起一个Java Web项目。MyBatis是一个开源的数据持久层框架，其内部封装了JDBC访问数据库的操作，支持普通的SQL查询、存储过程和高级映射。Echarts是一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，提供了多种丰富的可视化类型。多学一招：Phoenix查询引擎与MyBatis。
【Spark篇01】Spark基础入门和环境安装 1
08-04
在本文中，我们将深入探讨Spark的基础知识，包括其特性、核心组件、安装过程以及它如何与Hadoop生态系统兼容。 首先，Spark的速度是其最显著的特点。与传统的Hadoop MapReduce相比，Spark通过利用内存计算，能够...
西门子PLC与ABB变频器Modbus RTU通信及触摸屏集成教程
04-06
内容概要：本文详细介绍了如何使用Modbus RTU协议实现西门子S7-1200 PLC与ABB 510变频器之间的通信，涵盖硬件接线、参数设置、PLC编程以及触摸屏配置等方面的内容。首先，确保硬件正确连接，包括RS485接口的接线和终端电阻的设置。接着，调整变频器和PLC的相关参数，使其匹配并支持Modbus RTU通信。然后，利用西门子标准Modbus库进行PLC编程，实现对变频器参数的读写、启停控制及频率设置等功能。最后，介绍如何在WinCC中配置触摸屏，以便于监控和操作变频器。文中还提供了调试技巧和常见问题的解决方案。 适合人群：从事工业自动化领域的工程师和技术人员，特别是熟悉PLC编程和变频器应用的专业人士。 使用场景及目标：适用于需要将西门子PLC与ABB变频器进行通信集成的项目，旨在提高系统的自动化水平和控制精度。通过本教程，读者可以掌握Modbus RTU通信的具体实现方法，从而更好地应用于实际工程中。 其他说明：文章不仅提供了详细的步骤指导，还包括了一些实用的经验分享和注意事项，帮助读者避免常见的错误。此外，还提供了一个带有重试机制的参数读取模板，用于解决偶发性的通讯故障。
三菱Q系列PLC QD77MS16六轴分段编程详解及应用
04-06
内容概要：本文详细介绍了三菱Q系列PLC的QD77MS16模块在六轴控制方面的分段编程方法。首先，文章强调了前期准备工作，如硬件连接和参数设置。接下来，通过具体的代码示例展示了分段书写的思路，包括初始化、单轴运动控制、轴间协同控制等环节。此外，文中还分享了一些实用的经验和技巧，如批量传送参数、定位表格触发、异常处理等。最后，作者总结了分段编程的优势及其在实际项目中的应用。 适合人群：从事自动化控制领域的工程师和技术人员，尤其是对三菱PLC有一定了解并希望深入学习QD77MS16六轴控制的人群。 使用场景及目标：适用于需要进行多轴控制项目的开发和调试阶段，旨在提高程序的可读性和维护性，降低故障排查难度，提升工作效率。 其他说明：文章提供了丰富的实战经验和调试技巧，能够帮助读者更好地理解和应用QD77MS16模块的特性，从而顺利完成复杂的六轴控制任务。
wrf-chem的mozart案例，人为排放源、生物排放、沉降的制备
最新发布
04-06
mozart在人为、生物、沉降制备过程可能用到的input文件
matlab-基于可再生能源的微电网电源管理系统
04-06
近年来，由于工业、车辆和化石燃料发电的发展，温室气体的增加引起了环境问题。这项研究工作的主要目标是集中不同类型的无污染的替代燃料为基础的发电和结合一种以上的能源。在这项研究工作中，分析了不同环境条件下不同类型的可再生能源，如光伏、风能和燃料电池，柴油发电机在主电网故障期间用于独立用途。在此基础上，设计了基于ANFIS的MPPT控制器，并在Matlab环境下进行仿真。本文的研究目标是基于ANFIS控制器的混合多种可再生能源并与带有储能装置的电网整合以及最优能量投入。设计了系统模型，并在Matlab仿真环境下建模，分析了不同条件下的系统性能。最后，基于IEEE 1547标准对仿真结果进行了评估，证明了该系统的有效性
texlive-breakurl-7:20180414-23.el8.x64-86.rpm.tar.gz
04-06
1、文件说明： Centos8操作系统texlive-breakurl-7:20180414-23.el8.rpm以及相关依赖，全打包为一个tar.gz压缩包 2、安装指令： #Step1、解压 tar -zxvf texlive-breakurl-7:20180414-23.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
永磁同步电机(PMSM)滑模观测器与PLL相位补偿技术解析及应用
04-06
内容概要：本文详细探讨了永磁同步电机(PMSM)控制系统中滑模观测器(SMO)与锁相环(PLL)相结合的技术，尤其关注相位补偿的应用。文中首先介绍了SMO的基本原理及其存在的高频抖动问题，随后提出了通过PLL进行相位补偿的方法，解决了观测波形与实际波形之间的相位滞后问题。通过加入比例积分补偿器，进一步提高了系统的稳定性和精确度。实验结果显示，在加入相位补偿后，观测波形与实际波形基本重合，转速估计更加平稳，三相电流波形也变得圆润对称。 适用人群：从事电机控制研究与开发的工程师和技术人员，尤其是对永磁同步电机控制有一定了解并希望深入理解滑模观测器和PLL相位补偿机制的人士。 使用场景及目标：适用于需要提高PMSM控制系统精度和稳定性的场合，如工业自动化设备、电动汽车驱动系统等。主要目标是解决滑模观测器输出波形与实际波形之间的相位滞后问题，从而提升整个系统的性能。 其他说明：文章提供了详细的代码片段和调试技巧，帮助读者更好地理解和实施相关技术。同时提醒了一些常见的调试陷阱，如补偿量过大导致的过冲现象以及低速时的特殊处理方式。
Spark性能优化基础篇：开发与资源调优
"Spark性能优化指南——基础篇"深入探讨了在大数据计算领域广泛应用的Spark平台，其强大的功能使其在离线批处理、SQL查询、实时流处理、机器学习和图计算等方面表现出色。在美团和大众点评等企业，Spark因其快速执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值