H02-Hadoop3.x

最新推荐文章于 2025-11-24 19:23:40 发布
原创 最新推荐文章于 2025-11-24 19:23:40 发布 · 264 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文详细对比了Hadoop3.x与2.x的主要差异，包括Java版本要求、容错机制、数据平衡、存储Scheme、存储开销、YARN时间线服务、工具兼容性、文件系统支持、资源管理、可扩展性等方面。

Hadoop 3.x

2019年 Hadoop3.x 发布

与Hadoop2.x比较

License

hadoop 2.x - Apache 2.0，开源
Hadoop 3.x - Apache 2.0，开源

支持的最低Java版本

Hadoop 2.x - java的最低支持版本是java 7
Hadoop 3.x - java的最低支持版本是java 8

容错

Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。
Hadoop 3.x - 可以通过Erasure编码处理容错。

数据平衡

Hadoop 2.x - 对于数据，平衡使用HDFS平衡器。
Hadoop 3.x - 对于数据，平衡使用Intra-data节点平衡器，该平衡器通过HDFS磁盘平衡器CLI调用。

存储Scheme

Hadoop 2.x - 使用3X副本Scheme
Hadoop 3.x - 支持HDFS中的擦除编码。

存储开销

Hadoop 2.x - HDFS在存储空间中有200％的开销。
Hadoop 3.x - 存储开销仅为50％。

存储开销示例

Hadoop 2.x - 如果有6个块，那么由于副本方案（Scheme），将有18个块占用空间。
Hadoop 3.x - 如果有6个块，那么将有9个块空间，6块block，3块用于奇偶校验。

YARN时间线服务

Hadoop 2.x - 使用具有可伸缩性问题的旧时间轴服务。
Hadoop 3.x - 改进时间线服务v2并提高时间线服务的可扩展性和可靠性。

默认端口范围

Hadoop 2.x - 在Hadoop 2.0中，一些默认端口是Linux临时端口范围。所以在启动时，他们将无法绑定。
Hadoop 3.x - 但是在Hadoop 3.0中，这些端口已经移出了短暂的范围。

工具

Hadoop 2.x - 使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。
Hadoop 3.x - 可以使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。

兼容的文件系统

Hadoop 2.x - HDFS（默认FS），FTP文件系统：它将所有数据存储在可远程访问的FTP服务器上。 Amazon S3（简单存储服务）文件系统Windows Azure存储Blob（WASB）文件系统。
Hadoop 3.x - 它支持所有前面以及Microsoft Azure Data Lake文件系统。

Datanode资源

Hadoop 2.x - Datanode资源不专用于MapReduce，我们可以将它用于其他应用程序。
Hadoop 3.x - 此处数据节点资源也可用于其他应用程序。

MR API兼容性

Hadoop 2.x - 与Hadoop 1.x程序兼容的MR API，可在Hadoop 2.X上执行
Hadoop 3.x - 此处，MR API与运行Hadoop 1.x程序兼容，以便在Hadoop 3.X上执行

支持Microsoft Windows

Hadoop 2.x - 它可以部署在Windows上。
Hadoop 3.x - 它也支持Microsoft Windows。

插槽/容器

Hadoop 2.x - Hadoop 1适用于插槽的概念，但Hadoop 2.X适用于容器的概念。通过容器，我们可以运行通用任务。
Hadoop 3.x - 它也适用于容器的概念。

单点故障

Hadoop 2.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复。
Hadoop 3.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复，无需人工干预就可以克服它。

HDFS联盟

Hadoop 2.x - 在Hadoop 1.0中，只有一个NameNode来管理所有Namespace，但在Hadoop 2.0中，多个NameNode用于多个Namespace。
Hadoop 3.x - Hadoop 3.x还有多个名称空间用于多个名称空间。

可扩展性

Hadoop 2.x - 我们可以扩展到每个群集10,000个节点。
Hadoop 3.x - 更好的可扩展性。 我们可以为每个群集扩展超过10,000个节点。

更快地访问数据

Hadoop 2.x - 由于数据节点缓存，我们可以快速访问数据。
Hadoop 3.x - 这里也通过Datanode缓存我们可以快速访问数据。

HDFS快照

Hadoop 2.x - Hadoop 2增加了对快照的支持。 它为用户错误提供灾难恢复和保护。
Hadoop 3.x - Hadoop 2也支持快照功能。

平台

Hadoop 2.x - 可以作为各种数据分析的平台，可以运行事件处理，流媒体和实时操作。
Hadoop 3.x - 这里也可以在YARN的顶部运行事件处理，流媒体和实时操作。

群集资源管理

Hadoop 2.x - 对于群集资源管理，它使用YARN。 它提高了可扩展性，高可用性，多租户。
Hadoop 3.x - 对于集群，资源管理使用具有所有功能的YARN。

大数据之-Hadoop3.x_HDFS_数据完整性_HDFS的CRC数据校验---大数据之hadoop3.x工作笔记0078
添柴程序猿的专栏
07-01 617
说道数据的完整性,之前是有火车相撞的情况,比如,如果控制高铁信号灯的,一个数据,存储该数据的磁盘如果坏了,那不严重了吗,该显示 红灯,显示成绿灯了. 还有比如,如果你存款余额是1000,000,如果中间的小数点搞错了,那么变成1000000,那么银行不就完蛋了对吧. 二HDFS对于,数据的正确性,完整性,是有校验机制的. 关于这个校验机制,最简单的一种是奇偶校验,可以看到奇偶校验是什么意思呢? 可以看到比如我们传输数据: 0100 0001 对应的他会给数据添加一个校验位是0 这个...
hadoop hdfs ha(高可用)配置步骤
weixin_44928809的博客
09-25 392
步骤 背景 在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 hadoop2.x官方提供了两种HDFS HA的解决方案，一种是NFS，一种是QJM。QJM主要是主备N...
Hadoop3.X HA安装部署(保姆式细节版)
winggyn的专栏
09-03 711
说明此报告中：我将hadoop解压缩到/opt/hadoop/下，Jdk放在/opt/java下，zookeeper放在/export/server下；准备工作：在每台机器修改主机名字：hostnamectl set-hostname hadoop1crontab -e一：可以先搭建启动zookeeper1-3现在一台机器上完成下载zookeeper:注意啦：是下载编译过的这个包，不是那个源码包哈解压缩3.配置文件进入zookeeper所在目录后。
Hadoop系统中的单点故障解决方案总结
liu123641191的博客
06-19 7757
相较与Hadoop1.0，Hadoop2.0提供了比较完整的单点故障解决方案（Hadoop HA）Hadoop2.0内核由三个分支组成：HDFS、MapReduce和YARN，其他的Hadoop生态系统组件比如：HBase、Hive、Pig等，均是基于这三个系统开发的。因此在Hadoop2.0，存在着三个子系统的单点故障问题。正式介绍解决方案之前，先简要回顾这三个子系统：（1）HDFS：即分布式存...
Hadoop--单点故障修复
diyingshou8608的博客
06-02 288
　　　　　　　　　nameNode单点故障修复 　　　1.启动虚拟机，启动集群　 　　　　 　　　　　　　 　　此时我们将主机hadoop1关机(断掉主机)，开始抢救： 　　　　1.使用 秘书(secondaryNameNode)，成功率不是100% (这里我们把hadoop44作为新的nameNode) 　　　　2.zookeeper第三方代替　　 方法一seco...
大数据平台搭建：Hadoop-3.x + Spark-2.x + Hive-2.x + Hbase-1.4 + Phoenix-4.14 + Cassandra + ES
图特摩斯科技-博客
10-24 6725
换了新笔记本，做个笔记。 一，软件准备（自取所需） Java-1.8 Scala-2.11 Hadoop-3.1.1 Spark-2.3.2 Hive-2.3.4 phoenix 二，SSH免密码登录 （即使是当地的单机也需要SSH，否则格式化的hadoop的存储系统时无权限，导致失败 ：本地主机：@localhost：权限被拒绝（公钥，密码）开始） ssh免密两步骤（...
超简单centos7配置hadoop2.7.7+sqoop1.4.7
qq_40343117的博客
08-30 1392
sqoop下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 大家下的时候注意自己的版本！！（注意不要下sqoop2，不是给我们这类需求使用的。） 1、sqoop简介 sqoop是hadoop集群中一个负责hadoop与关系型数据库（mysql…）之间传输数据的工具，负责将mysql、oracle等数据库的数据导入到Hdfs、...
基于docker搭建6节点hadoop集群
Alita_lxz的博客
12-04 801
centos8基于docker搭建6个节点的hadoop集群 yum源配置 配置阿里的centos8 yum源 cd /etc/yum.repos.d mkdir bak mv * bak wget https://mirrors.aliyun.com/repo/Centos-8.repo yum clean all yum repolist 安装docker yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-
基于Docker的Hadoop集群搭建
Life_Cycle_的博客
04-05 1785
基于Docker的Hadoop集群搭建 本文为在阿里云服务器上基于docker的Hadoop集群搭建 安装思路为 安装docker -> 运行docker导入ubuntu镜像 -> 运行ubuntu系统 -> 在系统中配置好单个节点 -> 将配置好的单个节点系统导出为镜像 -> 根据镜像启动多个docker容器 -> 多个docker容器就是集群了。 总结：就...
基于Hive的招聘网站的大数据分析系统
lhyandlwl的博客
03-24 1948
基于Hive的招聘网站的大数据分析系统，预处理包括数据清洗、去重、缺失值处理、数据格式转换等环节，以确保数据的质量和一致性。在这一阶段，还可以利用自然语言处理技术对文本数据进行分词、词性标注等操作，为后续的分析提供更多维度的信息。通过对招聘数据的分析，我们可以发现人才市场的热点行业、热门职位、薪资水平等信息，为企业招聘决策提供参考。在可视化界面上，我们可以展示招聘数据的各种统计图表、热点地图、词云等，帮助用户更直观地理解数据背后的信息。
Hadoop 3的主要优缺点
大数据基础入门教程
01-10 2108
本文的目的是讨论Hadoop 3.0的优缺点。随着Hadoop 3.0中引入了许多更改，它已成为更好的产品。 Hadoop 3的主要优缺点 Hadoop旨在存储和管理大量数据。Hadoop有许多优点，例如，它是免费和开源的，易于使用的，其性能等。但是，另一方面，它也有一些缺点。因此，让我们开始探索Hadoop的主要优点和缺点。 Hadoop的优势 Hadoop易于使用，可扩展且具有成本效益...
Hadoop 3.0 EC技术应用
The_Inertia的博客
08-08 2401
目录 EC的设计目标 EC背景 EC在RAID应用 EC与HDFS EC在Hadoop架构的调整 NameNode元数据存储 Client DataNode EC存储方案 EC编码和解码 容错性和存储效率 连续存储还是条纹单元存储 EC策略关键属性 EC策略命名 online-EC 自定义EC策略 XOR算法与RS算法 部署HDFS EC 集群配置要求 EC配置 EC命令 验证测试 新上传一个293M的文件到冷数据目录 使用distcp迁移数据 基于Hive
Hadoop之——基于3台服务器搭建Hadoop3.x集群（实测完整版）
冰河的专栏
07-14 9245
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/93892479 一、 服务器规划 二、Hadoop集群环境的准备 搭建Hadoop集群环境之前，需要为搭建Hadoop集群环境做一些相关的准备工作，以达到正确安装Hadoop集群的目的。 1.添加hadoop用户身份 以root身份登录每台虚拟机服务器，在每台服务器...
大数据Hadoop生态系统介绍
匠人精神，持之以恒！
12-12 2638
文章目录一、概述二、Hadoop的发展简史三、Hadoop生态系统 一、概述 Hadoop是Apache软件基金会下一个开源分布式计算平台，以hdfs（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比如spark）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬
Hive基于Hadoop的数据仓库工具
usa_washington的博客
11-24 177
可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，将 SQL 语句转换为 MapReduce/Tez/Spark 任务运行。企业级数据仓库（EDW）数据湖查询引擎历史数据分析数据清洗和转换数据格式转换数据质量检查每日/每周/月度报表用户行为分析业务指标计算数据科学家进行数据探索即席查询分析。
Python大数据可视化：基于大数据技术的共享单车数据分析与辅助管理系统_flask+hadoop+spider
2509_94010074的博客
11-24 425
在搭建过程中，最开始的工作是从查阅相关资料开始的，通过在互联网的共享单车数据分析与辅助管理系统资料查询和阅读，对整个共享单车数据分析与辅助管理系统有了整体的概念了解，然后对本共享单车数据分析与辅助管理系统进行分析设计，本次共享单车数据分析与辅助管理系统的诉求是实现用户的基本需求，所以在设计时，整个系统功能模块十分简洁，系统为管理员和用户二大结构模块。在系统具体实现过程中，先把系统数据库搭建，然后进行功能模块的代码编译，最后将所有模块进行整合，形成完整的共享单车数据分析与辅助管理系统。
Servlet核心技术
m0_74193457的博客
11-24 659
目录Servlet快速入门Servlet 执行流程Servlet 的生命周期Servlet 核心方法说明Servlet 体系结构Servlet 的 URL 映射配置XML 配置方式编写 ServletRequestRequest 体系结构Request 获取请求数据Request 请求转发ResponseResponse 体系结构Response 设置响应数据Response 完成重定向路径问题Response 响应字符数据Response 响应字节数据servlet是Java提供的一种开发动态web资源技
Oracle民宿管理数据库实训[项目源码]
11-24
该项目为Oracle数据库实训项目，专注于民宿管理系统的数据库设计与实现。项目包含房间管理、入住管理、餐饮管理、活动管理、评价模块和留言板块六大功能模块，通过纯SQL操作实现各项功能。项目详细介绍了数据库的概念模型和物理模型设计，包括表空间创建、用户权限管理、触发器与存储过程的实现。此外，项目还提供了完整的测试用例，验证了系统的功能完整性和数据安全性。通过该项目，学生可以深入理解Oracle数据库的实际应用，掌握数据库设计、SQL编程及权限管理等核心技能。
Redis安全漏洞全解析[项目源码]
最新发布
11-24
本文详细解析了Redis未授权访问漏洞的成因、影响版本及防御措施，包括主从复制原理分析与本地靶场实战。文章首先介绍了Redis的基本概念和特点，随后深入探讨了未授权访问漏洞的成因、影响版本及防御措施。接着，详细讲解了在CentOS 7上部署Redis的步骤，包括安装准备、下载安装、服务管理和防火墙配置。文章还提供了Redis未授权访问漏洞的验证方法和演示，包括定时任务、SSH公钥写入和Web目录shell写入等利用方式。此外，还介绍了Redis主从复制机制、持久化与主从复制的关系，以及单机模拟Redis主从复制的步骤。最后，文章通过Vulfocus靶场实战演练，展示了Redis Lua沙盒绕过命令执行(CVE-2022-0543)和Redis未授权访问漏洞的利用方法。
以下命令完成，并出现错误: D:\.c\condabin\conda.bat install "xlrd -y 输出: Channels: - defaults Platform: win-64 Collecting package metadata (repodata.json): ...working... done Solving environment: ...working... done ## Package Plan ## environment location: D:\.c added / updated specs: - xlrd The following NEW packages will be INSTALLED: frozendict pkgs/main/win-64::frozendict-2.4.6-py311h02ab6af_0 ucrt pkgs/main/win-64::ucrt-10.0.22621.0-haa95532_0 vc14_runtime pkgs/main/win-64::vc14_runtime-14.44.35208-h4927774_10 xlrd pkgs/main/noarch::xlrd-2.0.2-pyhd3eb1b0_0 The following packages will be UPDATED: archspec 0.2.1-pyhd3eb1b0_0 --> 0.2.5-pyhd3eb1b0_0 ca-certificates 2023.12.12-haa95532_0 --> 2025.11.4-haa95532_0 certifi 2024.2.2-py311haa95532_0 --> 2025.10.5-py311haa95532_0 conda 24.1.2-py311haa95532_0 --> 24.11.3-py311haa95532_0 openssl 3.0.13-h2bbff1b_0 --> 3.0.18-h543e019_0 vs2015_runtime 14.27.29016-h5e58377_2 --> 14.44.35208-ha6b5a95_10 Downloading and Extracting Packages: ...working... done Preparing transaction: ...working... done Verifying transaction: ...working... failed 错误: EnvironmentNotWritableError: The current user does not have write permissions to the target environment. environment location: D:\.c 退出代码: 1
11-11
<think>我们正在解决一个关于conda安装包时的权限错误问题。用户在使用`conda install xlrd`时遇到了`EnvironmentNotWritableError`，指出当前用户对目标环境（路径为`D:\.c`）没有写入权限。 根据错误信息，核心问题是权限不足。因此，我们需要调整目标环境的权限，使得当前用户具有写入权限。 以下是解决这个问题的步骤： 1. **确认目标环境路径**：错误中提到的路径是`D:\.c`。请注意，这个路径看起来不太常见（通常conda环境会安装在`envs`目录下），但可能是用户自定义的环境位置。我们需要确保这个路径存在，并且用户确实想将包安装到这个环境。 2. **检查当前用户权限**：我们需要验证当前用户是否对`D:\.c`目录有写入权限。 3. **修改目录权限**：如果当前用户没有写入权限，我们可以尝试修改该目录的权限。在Windows系统下，可以通过文件夹属性修改权限；在Linux或Mac系统下，可以使用`chmod`命令。由于路径中包含盘符（D:），我们假设用户使用的是Windows系统。 4. **以管理员身份运行命令提示符**：在Windows系统中，如果当前用户是管理员，可以尝试以管理员身份运行命令提示符或Anaconda Prompt，然后再执行conda命令。 5. **更改环境的所有权**：如果目录的所有者是其他用户（或系统），我们可以将所有权更改为当前用户。 6. **使用conda的--prefix参数指定可写环境**：如果问题仍然存在，可以考虑在另一个当前用户有写入权限的位置创建新环境，并使用`--prefix`参数指定路径。 7. **检查conda环境配置**：使用`conda info`查看当前环境的信息，确认活动的环境是否正确。 由于错误信息中给出的环境路径是`D:\.c`，这可能是conda的根环境（base环境）？或者是一个自定义环境？但通常conda的base环境不会在`D:\.c`下。因此，我们可以先检查当前活动的环境。 具体步骤： **对于Windows系统：** 步骤1：以管理员身份运行Anaconda Prompt（或命令提示符） - 在开始菜单中找到“Anaconda Prompt”，右键选择“以管理员身份运行”。 步骤2：检查当前环境 - 在Anaconda Prompt中，输入： ``` conda info ``` 查看当前的环境路径，确认是否是`D:\.c`。同时，检查该路径是否存在。 步骤3：修改目录权限（如果路径存在） - 打开文件资源管理器，导航到`D:\`。 - 右键单击`.c`文件夹（如果不存在，则可能是路径错误，需要进一步确认），选择“属性”。 - 转到“安全”选项卡，查看当前用户是否在列表中，以及是否有“完全控制”或“修改”权限。 - 如果没有，点击“编辑”，然后添加当前用户，并勾选“完全控制”或“修改”权限，然后应用。 步骤4：如果目录不存在 - 如果`D:\.c`目录不存在，那么可能是conda配置错误。我们可以检查conda的配置文件（.condarc）中的环境路径设置，或者使用`conda config --show`查看配置。 步骤5：尝试创建新环境（可选） - 如果问题仍然存在，可以尝试在另一个位置创建新环境，并安装xlrd： ``` conda create --name myenv python conda activate myenv conda install xlrd ``` 步骤6：重新安装Anaconda（作为最后的手段） - 如果上述方法都无法解决，可能需要重新安装Anaconda，并确保安装路径的权限正确。 注意：在修改系统文件夹权限时，请谨慎操作，以免破坏系统安全。 根据以上分析，我们给出详细的解决方案。 由于用户的问题是在安装xlrd时出现的，且错误明确指向权限问题，因此重点在于修改`D:\.c`目录的权限或者改变conda的环境配置。 下面我们将给出一个结构清晰的回答。 </think>针对您在使用`conda install xlrd`时遇到的`EnvironmentNotWritableError`错误，以下是系统化的解决方案： ### 错误原因分析 1. **权限问题**：当前用户对 Conda 环境目录 `D:\.c` 缺少写入权限[^1] 2. **环境路径异常**：`D:\.c` 可能是损坏或非常规的安装路径 3. **所有权冲突**：目录可能被其他用户或系统进程锁定 --- ### 解决方案（Windows系统） #### 方法1：修改目录权限（推荐） ```powershell # 右键单击"命令提示符"或"Anaconda Prompt" -> 以管理员身份运行 icacls "D:\.c" /grant %username%:(OI)(CI)F /t ``` - 执行后重启终端重试 `conda install xlrd` - `/grant` 授予完全控制权，`/t` 递归应用到子目录 #### 方法2：重置环境所有权 ```powershell takeown /f "D:\.c" /r /d y icacls "D:\.c" /reset /t ``` #### 方法3：创建新环境安装 ```bash conda create -n py_env python=3.9 # 新建环境 conda activate py_env conda install xlrd # 在新环境安装 ``` #### 方法4：更改默认环境路径 1. 创建用户有权限的目录：`mkdir C:\conda_env` 2. 修改`.condarc`配置文件： ```yaml envs_dirs: - C:\conda_env ``` --- ### 特殊情况处理 **若 `D:\.c` 是无效路径**： ```bash conda config --show | find "envs" # 查看真实环境路径 conda clean --all -y # 清理缓存修复路径 ``` --- ### 验证安装 安装成功后执行： ```python import xlrd print(xlrd.__version__) # 应输出版本号 ``` > **注意**：若涉及公司电脑，请联系IT部门添加权限，直接修改系统权限可能导致安全策略冲突[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值