Ubuntu下安装PySpark

Ubuntu下安装pyspark Ubuntu下安装pyspark 安装环境 Python2.7 Ubuntu14.04 Java6+ 步骤一:下载spark 下载地址:spark官网 ,我选择的是spark-2.2.1-bin-hadoop2.7.tgz 步骤二:解压压缩包 tar -xzf spark-2.2.1-bin-hadoop2.7.tgz 步骤三:移动spark位置(可略) 阅读详情

最近参加一个大数据比赛,发现处理这些数据如果使用普通的代码需要非常长的时间。同时最近也学校也开了相关课程提到如何在Python下使用Spark,所以安装PySpark,这里记录下,方便他人和自己的使用。
安装环境:
Java6+
python2.6+ or python3.4+
(需要Java和python添加到相关PATH中)

  • 安装Spark

    • 下载
      Spark官网下载地址
      这里可以选择相应的配置。我选择的是(spark2.0.2和hadoop2.7)
    • 解压压缩包
    tar -xzf spark-2.0.2-bin-hadoop2.7.tgz

    解压压缩包,获得spark相应位置

  • 移动spark位置

    mv spark-2.0.2-bin-hadoop2.7 /srv/spark-2.0.2

    在这里可以将spark文件移动到任意一个位置。我这里移动到/srv下
  • 建立软链接

    ln -s /srv/spark-2.0.2 /srv/spark

    创建指向该Spark版本的符号链接到spark目录。这样你可以简单地下载新/旧版本的Spark,然后修改链接来管理Spark版本,而不用更改路径或环境变量。

    • 修改配置文件,添加到Path中
      修改BASH配置,将Spark添加到PATH中,设置SPARK_HOME环境变量。编辑~/.bash_profile或~/.profile文件,将以下语句添加到文件中
      export SPARK_HOME=/srv/spark
      export PATH=$SPARK_HOME/bin:$PATH

    PS:‘=’两边不能有空格

    • 测试运行安装情况
      source这些配置(或者重启终端),你就可以在本地运行一个pyspark解释器。
source .profile
pyspark

结果如下:
这里写图片描述
到这里已经顺利安装好Pyspark了。接下来要配置Ipython-notebook的运行环境。

  • 配置Ipython-notebook,使用spark
    • 为Spark创建一个iPython notebook配置
ipython profile create spark
  • 创建文件$HOME/.ipython/profile_spark/startup/00-pyspark-setup.py,并添加如下代码:
import os
import sys

 # Configure the environment
 if 'SPARK_HOME' not in os.environ:
     os.environ['SPARK_HOME'] = '/srv/spark'

 # Create a variable for our root path
 SPARK_HOME = os.environ['SPARK_HOME']

 # Add the PySpark/py4j to the Python Path
 sys.path.insert(0, os.path.join(SPARK_HOME, "python", "build"))
 sys.path.insert(0, os.path.join(SPARK_HOME, "python"))
  • 使用我们刚刚创建的配置来启动IPython notebook。
ipython notebook --profile spark
  • 在IPython notebook最上面,确保你添加了Spark context。
from pyspark import  SparkContext
sc = SparkContext( 'local', 'pyspark')
'''这里可能会报
ImportError: No module named py4j.java_gateway
ImportError: cannot import name accumulators
#解决方法:pip install py4j
'''
  • 测试
def isprime(n):
    """
    check if integer n is a prime
    """
    # make sure n is a positive integer
    n = abs(int(n))
    # 0 and 1 are not primes
    if n < 2:
        return False
    # 2 is the only even prime number
    if n == 2:
        return True
    # all other even numbers are not primes
    if not n & 1:
        return False
    # range starts with 3 and only needs to go up the square root of n
    # for all odd numbers
    for x in range(3, int(n**0.5)+1, 2):
        if n % x == 0:
            return False
    return True

# Create an RDD of numbers from 0 to 1,000,000
nums = sc.parallelize(xrange(1000000))

# Compute the number of primes in the RDD
print nums.filter(isprime).count()

运行完这段代码。如果出现数字并没有报错,那么说明已经安装成功了~~!

ubuntu18.04安装pyspark+jupyter指南 1. jdk,hadoop,spark,anaconda,pyspark的安装请按照这位博主的教程进行 如果是使用jupyter运行的话,不需要安装第五步zeppelin,但请务必确认前四步都完成了 我的jdk版本是1.8.0_281,hadoop是2.10.1,spark是2.4.7,python是3.7.0 2. vim ~/.bashrc修改环境变量 export JAVA_HOME=/home/cxq/java/jdk1.8.0_281 export JRE_HOME=/home/cxq/ 阅读详情

相关推荐

从数据集到产品:聊聊Room-to-Room (R2R) 如何影响扫地机器人、AR导航的未来

本文探讨了Room-to-Room (R2R) 数据集如何推动视觉与语言导航(VLN)技术的发展,并重塑扫地机器人和AR导航的未来。通过分析R2R基于Matterport3D的设计及其在真实场景中的应用,揭示了其在提升智能导航精度和自然语言交互能力方面的潜力。文章还讨论了从实验室到产品化的关键技术挑战与解决方案。

weixin_29084231的博客 143

PySpark安装及WordCount实现(基于Ubuntu)

Hadop伪分布式+PySpark local+词频统计WordCount案例

qq_43629945的博客 2022

stm32f407等芯片(HAL库)时钟频率修改(乱码)

其他片子及库文件未知、未验证,只是在使用stm32f407ZG配置串口打印的时候,出现乱码,就从以下几方面定位问题: 1. 确认串口GPIO相关配置; 2. 确认波特率等参数; 3. 确认时钟频率; 结果这次使用YH的串口打印程序在ZDYZ的开发板调试项目工程(有点另类...),做功能验证,就出现了以上问题,出于好奇开始调试,最终发现是时钟频率问题。 看到下图这个配置,因为ZDYZ开发板使用的是8MHz外部晶振(好像默认的是25MHz,如图2),所以他这里PLL_M是25,不是推荐值,感...

bulefire2009的博客 5518

ubuntu20安装Spark和pyspark的简单使用

Hadoop存在如下一些缺点:表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前,其他任务就无法开始,难以胜任复杂、多阶段的计算任务Spark在借鉴Hadoop MapReduce优点的同时,很好地解决了MapReduce所面临的问题。...

qq_22808061的博客 2802

FPGA实战:用Verilog实现Costas环载波同步(附Vivado2019.2仿真步骤)

本文详细介绍了如何在FPGA上使用Verilog实现Costas环载波同步,包括核心原理、Vivado2019.2工程配置、代码实现及仿真验证。通过正交下变频、相位误差检测和环路滤波等关键模块的设计,帮助开发者掌握数字通信系统中的载波同步技术,并提供了实用的调试和优化技巧。

k0l1m2n3o的博客 136

YOLOv8【第十章:多任务扩展深度篇·第16节】车道线检测——基于 YOLOv8-Seg 的车道线分割与拟合!

🏆 本文收录于 《YOLOv8实战:从入门到深度优化》 专栏。该专栏系统复现并梳理全网各类 YOLOv8 改进与实战案例(当前已覆盖分类 / 检测 / 分割 / 追踪 / 关键点 / OBB 检测等方向),坚持持续更新 + 深度解析,质量分长期稳定在 97 分以上,可视为当前市面上 覆盖较全、更新较快、实战导向极强 的 YOLO 改进系列内容之一。

**My Coding Family** 1万+

Ubuntu 下PySpark安装

操作系统:Ubuntu20.04 所需软件: Java 8 +,Python 3.5 +, Scala 2.11.12+ 安装Java 8 sudo apt-get update sudo apt-get install openjdk-8-jdk java -version 安装scalasudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb sudo dpkg -i scala-2.12.8.deb .

学习是一种信仰的博客 2137

仿真系列专栏介绍

大家好!欢迎来到我的仿真学习系列专栏!这是一个我在学习仿真技术过程中整理和分享的系列文章。作为一名正在不断学习和实践的工程师,我希望通过这个专栏,和大家一起探索仿真技术,尤其是在高速信号完整性方面的应用。

案例文章,高速信号 370

ubuntu 部署spark

确保机器能够正常上网。首先下载spark安装包,

pzy0668的专栏 3535

YOLOv8模型改进、剪枝、蒸馏和Web端界面的直观展示

模型蒸馏与性能提升 为了进一步优化YOLOv8模型,可以使用蒸馏技术将大型模型的知识转移到小型模型中。在模型蒸馏过程中,通过定义适当的损失函数和训练策略,学生网络可以学习教师网络的知识,并达到接近教师网络性能的效果。这样做不仅可以减少模型的存储和计算开销,还可以提高模型的推理速度和实时应用的响应能力。这样,用户可以直观地观察到模型的性能和应用的效果。为了优化YOLOv8模型并实现直观地观看检测效果或训练结果的全家通应用,本文将探讨如何通过改进、剪枝和蒸馏技术,并结合Web端界面来提升模型性能。

weixin_51988935的博客 2397

​​手把手教你学PCIE--ATU 的 Bar 匹配模式与地址匹配模式详解​

摘要: ATU(地址转换单元)提供两种地址匹配模式:Bar匹配模式基于PCI设备的BAR寄存器自动映射虚拟地址(只需配置物理基址),适用于标准PCI设备DMA;地址匹配模式需显式配置虚拟与物理地址范围,适合自定义映射场景。核心区别在于匹配依据(BAR自动推导vs人工定义),Bar模式简化配置,地址模式更灵活。

MHD0815的博客 380

Ubuntu22.04下在Spark2.4.0中采用Local模式配置并启动pyspark(附Ubuntu更改默认Python版本)

Ubuntu22.04下在Spark2.4.0中采用Local模式配置并启动pyspark(python3.5.2)

哇咔咔哇咔的博客 2972

Linux Namespace隔离实战:dd/mkfs/mount/unshare构建终极沙箱

内存占用 | 512MB+ | **<10MB** | 50倍节省 || 启动时间 | 15-45秒 | **0.1-0.5秒** | 100倍加速 || 磁盘空间 | GB级 | **MB级** | 显著减少 || 系统调用性能 | 有损耗 | **原生速度** | 零损耗 |

Loving_enjoy的博客 400

Ubuntu 下 PySpark 安装

目录 1、什么是 Apache Spark? 2、spark安装(python版本) 3、在jupyter notebook中使用PySpark   1、什么是 Apache Spark? Apache Spark 是一种用于处理、查询和分析大数据的快速集群计算框架。Apache Spark 是基于内存计算,这是他与其他几种大数据框架相比的一大优势。Apache Spark 是开源的,...

hecongqing的博客 8636

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Ubuntu安装pyspark

然后输入pyspark,输出应显示Spark版本和Python上下文。

2401_82503051的博客 225

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

蓝易云 - PySpark安装及WordCount实现(基于Ubuntu)

现在,你已经成功安装了PySpark并实现了WordCount示例。你可以根据实际需求修改脚本以处理不同的文本数据。这将使用Spark运行WordCount任务,并将结果保存在指定的输出目录中。PySpark需要Java运行环境。下载并解压Apache Spark。替换为你要分析的文本文件的路径,将。创建一个Python脚本,例如。记得使用实际的Spark路径。下载最新版本的Spark。替换为你下载的实际版本。替换为输出结果的目录。

高性价比服务器就选:蓝易云 1217

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

ubuntu下pyspark的安装

1.安装jkd1.8(这里不再描述) 2.直接在终端输入pip install pyspark(官网提供的最简单的一种安装方式) 过程如下: Collecting pyspark Downloading https://files.pythonhosted.org/packages/ee/2f/709df6e8dc00624689aa0a11c7a4c06061a7d00037e3...

weixin_30552635的博客 491

Ubuntu系统下配置单机版Hadoop、Spark、Pyspark以及安装Anaconda教程

(这篇博客实属记录本人在安装以及配置环境中的一些小心得,希望能够帮助到大家。) 1.首先安装Java_JDK 在jdk版本选择上,我们一般选择JDK1.8版本,有较好的兼容性。 (附链接:链接:https://pan.baidu.com/s/11Y_dum09skPRspHNjhaBwA 提取码:3loc) 上传到Linux下进行解压,命令为 tar -zxvf 文件地址 -C 目标解压地址 例...

Y_Bug的博客 1195

PySpark安装+Jupyter Notebook配置(Ubuntu 18.06)

学校一门Big Data Computing需要学习Spark in Python。 这篇文章记录一下安装PySpark和Jupyter Notebook上运行Spark的步骤。 Prerequisite 我的系统是:Ubuntu 18.06 LTS 已经装好了python2和3(如果没有可以看看这个链接...

weixin_34248118的博客 582

ubuntu安装pyspark

1、安装Java 8安装 sudo apt-get update sudo apt-get install openjdk-8-jdk java -version 安装成功后,会显示如下画面: 2、安装Scala wget https://downloads.lightbend.com/scala/2.12.14/scala-2.12.14.tgz sudo mv scala-2.12.14 scala # 重命名 Scala 目录 sudo mv scala /us

s_daqing的博客 2202

ubuntu16.04 安装 pyspark2.4

记录下安装pyspark2.4那点事 首先把 java1.8 配置好(这个so easy),我这个是基于python3.7,如果没有安装,移步这里 然后下载包spark-2.4.0-bin-hadoop2.7.tgz $ tar -zvxf spark-2.4.0-bin-hadoop2.7.tgz # 配置环境变量 $ vi ~/.bashrc export JAVA_HOME=/usr/bin...

超级码力 1834
上一篇: Pandas学习笔记(不定期更新)
下一篇: Sklearn源码学习入门
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值