
Spark
jiabiao1602
目前就职于世界百强企业!已经从事数据分析工作10年以上。曾经从事过咨询、电商、电购、电力、互联网等行业,了解不同领域的数据特点,目前主要用R语言做大数据分析和建模、数据可视化研究工作。撰写书籍《R语言与数据挖掘》、《R语言游戏数据分析与挖掘》等书籍
展开
-
sparkR介绍及安装
原文地址:http://www.cnblogs.com/Cherise/p/4342273.htmlSparkR是AMPLab发布的一个R开发包,为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集(RDD)的API,用户可以在集群上通过R shell交互性的运行job。例如,我们可以在HDFS上读取或写入文件,也可以使用 lapply 来定义对应转载 2017-08-16 18:32:25 · 392 阅读 · 0 评论 -
SparkR初体验
原文地址:http://blog.youkuaiyun.com/dr_guo/article/details/51377784突然有个想法,R只能处理百万级别的数据,如果R能运行在spark上多好!搜了下发现13年SparkR这个项目就启动了,感谢美帝!1.你肯定得先装个spark吧。看这:Spark本地模式与Spark Standalone伪分布模式2.你肯定得会R吧。看转载 2017-08-24 18:16:11 · 563 阅读 · 0 评论 -
基于spark1.4.1的sparkR的实例操作
原文地址:http://blog.youkuaiyun.com/bdchome/article/details/48104537[Author]: kwu 基于spark1.4.1的sparkR的实例操作,sparkR的操作基本语法与R一致,其中添加了rJava、rhdfs、SparkR的依赖库的支持。1、集群启动SparkR输入 bdcmagicR转载 2017-08-24 18:17:27 · 519 阅读 · 0 评论 -
CentOS手动安装sbt过程
地址:http://blog.youkuaiyun.com/lizhitao/article/details/46846343参见官网配置说明http://www.scala-sbt.org/release/tutorial/Manual-Installation.html1、下载sbt通用平台压缩包:sbt-0.13.5.tgz http://www.scala-sbt.org/do转载 2017-08-24 23:04:09 · 1044 阅读 · 0 评论 -
R︱sparkR的安装与使用、函数尝试笔记、一些案例
本节内容转载于博客: wa2003 spark是一个我迟早要攻克的内容呀~—————————————————————————————————————一、SparkR 1.4.0 的安装及使用1、./sparkR打开R shell之后,使用不了SparkR的函数装在了 /usr/local/spark-1.4.0/ 下转载 2017-08-22 15:14:38 · 728 阅读 · 0 评论 -
Install and Run SparkR - easy way
地址:http://sbartek.github.io/sparkRInstall/installSparkReasyWay.htmlInstall and Run SparkR - easy wayRequirementFirst you must have R and java installed. This is a bit out the sco转载 2017-08-22 16:04:49 · 416 阅读 · 0 评论 -
安装SparkR
原文地址:http://blog.youkuaiyun.com/wind520/article/details/48814129必须条件:1:安装好JDK2:安装好R步骤1: 运行R Shell[plain] view plain copy[jifeng@feng03 R-3.1.1]$ R R ve转载 2017-08-15 22:44:24 · 773 阅读 · 0 评论 -
Intellij Idea搭建Spark开发环境
原文地址:http://blog.youkuaiyun.com/u012877472/article/details/51000690在Spark快速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置,在那里还介绍了使用spark-submit提交应用,不过不能使用vim来开发Spark应用,放着IDE的方便不用。这里介绍使用Intellij Idea搭建Spark的转载 2017-08-24 16:17:55 · 924 阅读 · 0 评论 -
在R或Rstudio中调用SparkR
原文地址:http://blog.youkuaiyun.com/u010022051/article/details/51119008libpath libpath .libPaths(libpath)rm(libpath)library(rJava)library(devtools)library(SparkR)sc 或sc Spark://172.2转载 2017-08-24 18:13:59 · 1270 阅读 · 0 评论 -
SparkR终极解决方案
原文地址:http://blog.youkuaiyun.com/wangjunji34478/article/details/70906537问题:Spark支持sparkR需要安装R如果R需要支持强大的内库,就需要安装第三方内库(需要连网)。解决步骤: 第一:安装开发工具集R对操作系统有一定的要求,所以先安装开发工具集,因为里面有c++的编译转载 2017-08-14 00:15:43 · 1118 阅读 · 0 评论 -
数据科学家如何优雅的运行R在spark内存计算引擎上
来源:http://www.ppvke.com/Blog/archives/46156R在数据科学中超过10,000包,是主要的编程语言之一。R是开源软件,作为 统计学和计算机科学课程的一部分,在专科和本科大学广泛传授。R使用DateFrame作为API可以方便操控数据。R还有很强大的基础设施,让数据分析师可以很有效的解释数据。使用R分析数据会被单机的可用内存量限制,并且R是单转载 2017-08-14 00:13:54 · 1302 阅读 · 0 评论 -
Spark R安装成功的步骤
欢迎交流学习: Email : sparkexpert@sina.com网上有很多关于spark R的安装过程,但是按照那个过程总是出错。当然最常见的问题是:Launching sbt from sbt/sbt-launch-0.13.6.jarError: Invalid or corrupt jarfile sbt/sbt-launch-0.13.6.jarma转载 2017-08-16 18:44:51 · 1058 阅读 · 0 评论 -
SparkR安装部署及数据分析实例
原文地址:http://www.cnblogs.com/payton/p/4227770.html1. SparkR的安装配置1.1. R与Rstudio的安装1.1.1. R的安装我们的工作环境都是在Ubuntu下操作的,所以只介绍Ubuntu下安装R的方法:1) 在/etc/apt/sources.lis转载 2017-08-13 23:57:48 · 605 阅读 · 0 评论 -
SparkR数据分析
原文地址:http://blog.youkuaiyun.com/a358463121/article/details/50541242本文的运行环境是ubuntu,在阅读这篇文章前,请先保证你已经成功配置了Spark, 并设置好了全局变量 SPARK_HOME以及 PATH ,能够成功运行Spark.(如果你在终端输入sparkR 运行成功的话就证明你成功了) 如果还没有配置成功的转载 2017-08-14 00:02:16 · 578 阅读 · 0 评论 -
Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
原文地址:http://blog.youkuaiyun.com/meng___xia/article/details/54628918在前面3篇文章中,完成了基础环境的安装以及Hadoop的安装配置基础以及scala、spark的安装配置。本文将介绍SparkR和Zeppelin的安装配置。3.10 R安装安装R的原因是Spark安装后直接启动SparkR会报错,且在zep转载 2017-08-14 00:04:11 · 452 阅读 · 0 评论 -
Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置yuan
原文地址:http://blog.youkuaiyun.com/meng___xia/article/details/54618065在上2篇文章中,完成了基础环境的安装以及Hadoop的安装配置基础上进行scala的安装配置。3.8 Scala安装注意scala2.11版本不支持spark1.*版本。需要在3台服务器上都安装 Scala 。首先通过sftp将下载下转载 2017-08-14 00:05:57 · 414 阅读 · 0 评论 -
Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
原文地址:http://blog.youkuaiyun.com/meng___xia/article/details/54617959在上一篇环境安装完成的基础上进行Hadoop的安装和配置。3.7Hadoop安装需要在3台服务器上都安装 Hadoop。首先通过sftp将下载下来的二进制的 Hadoop包上传到Master,将Hadoop 压缩包 hadoop-2.6.3.ta转载 2017-08-14 00:07:42 · 451 阅读 · 0 评论 -
Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备
原文地址:http://blog.youkuaiyun.com/meng___xia/article/details/546175791、虚拟机安装虚拟机安装工具:vSphere 登录虚拟服务器工具:SecureCRT在虚拟机上装好3台服务器,环境情况:内存:16GCPU:两个四核硬盘:320G2、版本选择组件版本安装服务器操转载 2017-08-14 00:08:51 · 347 阅读 · 0 评论 -
SparkR的R3.3.1源码安装
原文地址:http://blog.youkuaiyun.com/meng___xia/article/details/54923363如果想要在Spark上使用sparkR必须首先在集群的所有机器上安装R包,前面有安装过R.3.2.1,但是因为很多R包不支持,所以更新为3.3.1。1、安装依赖yuminstallgccyuminstallgcc-c++yum转载 2017-08-14 00:11:36 · 577 阅读 · 1 评论 -
Spark(八) -- 使用Intellij Idea搭建Spark开发环境
原文地址:http://blog.youkuaiyun.com/qq1010885678/article/details/45954731Intellij Idea下载地址: 官方下载 选择右下角的Community Edition版本下载安装即可本文中使用的是windows系统 环境为: jdk1.6.0_45 scala2.10.5在网上下载jdk和Scal转载 2017-08-24 16:19:45 · 492 阅读 · 0 评论