win10安装spark

已于 2023-11-07 09:11:54 修改
阅读量804 收藏
点赞数
文章标签： spark
于 2023-10-25 20:41:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Lonely_Devil/article/details/134042192
版权

一、进入spark下载页面

连接  Downloads | Apache Spark

二、解压下载后的.tgz文件

直接解压即可

三、运行

运行bin目录下的 spark-shell.cmd

提示  Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

解决办法

【精选】spark环境搭建window篇_windows spark_邱可爱的博客-优快云博客

还有问题可以见第六点

四、运行成功

五、winutils.exe 新版本hadoop没有的原因

winutils.exe 新版本hadoop没有了_mob649e81624618的技术博客_51CTO博客

六、错误解决

执行  hadoop fs -ls
报错
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;

解决办法
https://blog.youkuaiyun.com/sx157559322/article/details/115339328

替换 hadoop bin目录下的 hadoop.dll、winutils文件  和 windows/system32 下的 hadoop.dll、winutils文件  

 

说明不能只替换第三点中的 hadoop bin目录下的 hadoop.dll、winutils文件

Python之pip：pip包管理工具的简介、安装、使用方法(权限下载/批量下载/统一更新等)之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-21 1万+
​ Python之pip：pip包管理工具的简介、安装、使用方法(权限下载/批量下载/统一更新等)之详细攻略 目录 pip的简介 pip的安装 pip的使用方法 pip的简介 pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。目前如果你在python.org下载最新版本的安装包，则是已经自带了该工具。Python 3.4+ 以上版本都自带 pip 工具。pip这个工具，可以很方便的线上安装依赖库
pip源管理：如何配置多个源以优化Python包安装
2401_85342379的博客
06-23 1567
在Python项目开发中，pip作为主要的包管理工具，其源（Repository）的配置对包的下载速度和稳定性有着直接影响。有时，由于地理位置、网络条件或特定需求，开发者可能希望同时使用多个源来优化包的安装过程。本文将详细探讨如何在pip中配置多个源，以及这样做的优势和潜在问题。
pythonRepository:储存库层
03-27
pythonRepository pythonRepository是用于创建存储库层的基本框架。 目标是成为使用SQLAlchemy和abc（抽象基类）创建持久层的基本模型。 安装 pip安装SQLAlchemy 克隆该项目。 使用 要使用该框架，请按照以下示例创建域类，然后创建存储库类 导入abc 域的抽象类 类Entity（metaclass = abc.ABCMeta）：@property def ID（self）：引发NotImplementedError 来自.entity导入实体 域类 Log（Entity）类：Id = 0 # default constructor def __init__(self,status,sigla,errorCode,errorColumn,id = 0): Id = id self.status = status
python pip源
weixin_33872566的博客
11-26 123
pipy国内镜像目前有： 　　http://pypi.douban.com/  豆瓣 　　http://pypi.hustunique.com/  华中理工大学 　　http://pypi.sdutlinux.org/  山东理工大学 　　http://pypi.mirrors.ustc.edu.cn/  中国科学技术大学    手动指定源： 在pip后面跟-i 来指定源，比如用豆瓣...
pip的源管理和包管理
最新发布
bookish_2010_prj的专栏
04-22 1114
pip源是存储Python包的服务器或目录，分为‌官方源‌（如PyPI）和‌非官方源‌（如国内镜像站）两类。源的选择直接影响包的下载速度、稳定性和版本可用性，非官方源常用于解决网络延迟或地域限制问题。‌源管理优先级‌：命令行参数 > 用户级配置 > 系统级配置。‌包管理原则‌：推荐使用虚拟环境隔离项目依赖，并通过实现版本可复现性。
pip源
z1941563559的博客
06-17 404
pip install xlrd -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 1)http://mirrors.aliyun.com/pypi/simple/ 阿里云 2)https://pypi.mirrors.ustc.edu.cn/simple/ 中国科技大学 http://pypi.douban.co...
ubuntu18.04安装pip3 Depends: python-pip-whl (= 8.1.1-2) but 8.1.1-2ubuntu0.4 is to be installed
qq_28719743的博客
11-28 1万+
下了个ubuntu18.04，更新源后安装pip3 apt install python3-pip 结果居然报错了 Reading package lists... Done Building dependency tree Reading state information... Done Some packages could not be installed. This ma...
Python 包管理工具 pip 安装 和 使用
墨鱼菜鸡
07-11 1113
pip 安装使用详解：http://www.ttlsa.com/python/how-to-install-and-use-pip-ttlsa python 包：https://pypi.python.org/pypi 在 python 中安装非自带 python 模块，有三种方式： 1. easy_install2. pip3. 下载压缩包(.zi...
【Python pip安装自定义源】：企业内部包管理优化的最佳实践
[【Python pip安装自定义源】：企业内部包管理优化的最佳实践](https://scaler.com/topics/images/access-specifiers-in-python-encapsulation-1024x590.webp) 参考资源链接：[Python使用pip安装报错...
pip国内镜像源 Python安装第三方库
weixin_41915066的博客
07-14 392
使用python中要下载两个库 jieba 和 pand。下载pandas时报这个错误。
Python pip源
zly717216的博客
03-04 2万+
Python pip源 用pip管理工具安装库文件时，默认使用国外的源文件，因此在国内的下载速度会比较慢，因此使用国内的镜像。其中，比较常用的国内镜像包括： 阿里云：http://mirrors.aliyun.com/pypi/simple/ 豆瓣：http://pypi.douban.com/simple/ 清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/ 中国科学技术大学：http://pypi.mirrors.ustc.edu.cn/simple/ 华中科
python pip安装依赖的常用软件源：清华源、阿里源、中科大源、豆瓣源
热门推荐
振华OPPO的博客世界
06-04 2万+
镜像源就是把官方的源作为一个镜像，你可以在这下载软件。比如ubuntu官方源在国外，下载软件可能会很慢，这时候就需要换成国内的镜像源。
pip python 源
weixin_40507420的博客
08-29 230
我整理的一些关于【配置文件,安装包,Python】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1如何配置 Python 的 pip 源 在使用 Python 开发的过程中，pip 是一个用来安装和管理 Python 包的非常重要的工具。默认情况下，pip 会从 ...
【python pip学习笔记】pip源
千里之堤
04-24 602
/root/srcpip/放的是python module安装文件，一般 pip install --no-index -f file:///root/srcpip -r requirements.txt
pip 源
Chamico的博客
08-05 456
https://pypi.douban.com/simple  豆瓣的这个源比较好用，更新的快。
Python仓库的创建与管理：python-repository教程
以上列出的知识点，提供了对Python项目版本控制仓库的基本理解，包括创建和管理仓库、编写代码和文档、测试和持续集成等关键开发实践。通过掌握这些知识点，开发人员可以有效地使用Python进行项目开发，同时也能够更...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值