被cloudera quickstart vm坑了一把

最新推荐文章于 2024-04-16 21:31:00 发布
最新推荐文章于 2024-04-16 21:31:00 发布
阅读量4.4k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gongchengshiv/article/details/78571980
版权

基于没有服务器，只有个人4G内存笔记本一台，想试一把hadoop环境，操作一下真实环境学习。

研究了cloudera官网提供了一个快速学习的环境安装包：cloudera quickstartvm。

安装虚拟机时没有说明需要最小内存，虚拟机启动正常，当打开cdh express精简版时竟然说至少8G内存，我累个去，早不说，等装完了启动时才提示，我也是醉了。。。。。。。


坑啊。。。。。

gongchengshiv
关注
【硬刚大数据】2021年从零到大数据专家之Kudu篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 788
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 2021.
Hadoop【应用篇】01：Hadoop在CDH和HDP中的使用
weixin_40612128的博客
03-03 1603
Hadoop在CDH和HDP中的使用
cloudera-quickstart-vm-5.13.0-0 书签
05-07
cloudera-quickstart-vm-5.13.0-0- 相关书签。
Cloudera QuickStart VM安装使用
ChuckSheng的博客
11-30 4477
Cloudera QuickStart VM安装使用目的VM安装下载安装 目的 Cloudera QuickStart VM提供了各类镜像用于快速搭建CDH集群，搭建的CDH集群可用于POC或者自学等，但不推荐在生成环境中使用。 VM安装 下载 Cloudera QuickStart VMs有VMware, KVM, and VirtualBox和docker版本，目前最新镜像对应的CDH版本是C...
cloudera-quickstart 初体验
ytangdigl的博客
10-28 1259
1、cloudera-quickstart提供了集成了大部分大数据组件的虚拟机镜像系统，包括hadoop，hbase，hive，hue，spark，zookeeper等等，是cloudera定制的版本，还有cloudera的管理组件，基本上不用配置，我下载了vmware的镜像。 vmware的镜像下载地址：cloudera-quickstart-vm-5.5.0-0-vmware.zip 2、下载后，直接解压，然后用vmware直接打开 文件–>打开–>选择cloudera-quickstart
使用Cloudera-QuickStart-VM的一些个人配置
从此醉
05-31 2924
最近为了学习Cloudera，在官网下载了一个配置好的CDH环境VMWare虚拟机。它是基于CentOS6环境的，CDH版本是5.13.0。使用中才发现尽管它把Cloudera Manager 等组件都已经安装好了，也可以一键启动，但是要用于开发学习，还是需要自己花一番功夫自己配置开发环境。下面是我的配置步骤。 1、更新系统。 运行如下命令 $ sudo yum makecache $ ...
大数据快速搭建环境 CDH QuickStart VM虚拟机版本安装
moxiong3212的博客
04-16 1379
CDH QuickStart VM虚拟机版本安装
通过Docker快速部署启动Apache Hadoop及Cloudera
xinxinyunli的博客
04-26 1477
玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM，但是大家可能还不知道，Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera，而且速度要比其他启动方式更快。 说到QuickStart VM，大家可能都很熟了，从本质上来说QuickStart VM就是一个包含了分布式数据处理平台的虚拟镜像。一开始的时候Quic
Cloudera搭建部署
小强一点的博客
02-15 3223
Cloudera简介 为了构建一个以数据为驱动的业务场景，我们需要一个强大的管理工具去统一并安全地管理我们的业务数据，所以Cloudera做为一个强大的数据中心管理工具为此孕育而生。Cloudera不光提供了自己衍化重新封装的市场领先并100%开源的商业化Apache Hadoop发行版本（CDH, Cloudera’s Distribution including Apache Had
Kafka系列一之架构介绍和安装
留歌__36的博客
11-21 1438
Kafka架构介绍和安装写在前面 还是那句话，当你学习一个新的东西之前，你总得知道这个东西是什么？这个东西可以用来做什么？然后你才会去学习它，使用它。简单来说，kafka既是一个消息队列，如今，它也演变为一个分布式的流处理平台，这一点就是很厉害的了。所以，学习kafka对于大数据的小伙伴们来说，是非常有益的。 （一）Kafka概述 1.Kafka是一个分布式的流处理平台，有消息的订阅系统（
台湾品牌高性价比，超低功耗Cortex-M0 ，代替STM32L011，STM32L031的，适合电池供电-sim_HT32_Keil-QuickStartv110.pdf
09-03
台湾品牌高性价比，超低功耗Cortex-M0 ，代替STM32L011，STM32L031的，适合电池供电-sim_HT32_Keil-QuickStartv110.pdf
1.2 大数据 cloudera-quickstart-vm-5.13.0-0-vmware HADOOP CDH快速安装
赤山岛
01-07 1972
HADOOP CDH quickstart安装 cloudera-quickstart-vm-5.13.0-0-vmware
Hadoop QuickStart VM
01-27 4985
Cloudera-Quickstart-VM-5.3.0 下载包: http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms/cdh-5-3-x.html   打开终端, 默认是cloudera用户, 切换到root用户 su -  密码cloudera [root@quickstart ~]# ll
cloudera-quickstart-vm-5.13.0-0-vmware.zip 下载 、安装、使用
chenhepg的博客
08-01 2542
创建于：20200801 修改于：20200801 今天去官网看了，一直找不到cloudera-quickstart-vm的下载入口。应该是不提供了。特此记录下。 （1）cloudera-quickstart-vm-5.13.0-0-vmware.zip下载链接：https://downloads.cloudera.com/demo_vm/vmware/cloudera-quickstart-vm-5.13.0-0-vmware.zip （2）cloudera-quickstart-vm-5.13.0部署大
Cloudera简介和安装部署概述
热门推荐
咕噜大大的专栏
09-06 2万+
最近作者在研究Cloudera，并且在自己的虚拟机集群安装部署成功，所以在此做个分享，帮助大家尽快构建自己的Cloudera环境并运用起来。文章将会对Cloudera以及其安装时涉及到的组件做一个简单的介绍，并把官方文档中介绍的3种安装部署方式做一个概要的说明。
Cloudera虚拟机配置（虚拟机环境自带Hadoop、Impala等大数据处理应用）
wyr1849089774的博客
02-25 2228
笔者通过各种渠道找到了Cloudera公司（Hadoop数据管理软件与服务提供商）在早些年发行的虚拟机文件，通过配置该虚拟机可以直接获得一个较为完整的大数据处理应用环境（包括Hadoop、Impala等数种大数据处理应用）。
CDH QuickStart VM基本使用
日进一步
12-06 1万+
1.1 准备工作 1.       下载虚拟机镜像包。 下载地址：https://www.cloudera.com/downloads/quickstart_vms/5-12.html 后面步骤中使用的是VMWare的虚拟机镜像文件cloudera-quickstart-vm-5.12.0-0-vmware.zip。 2.       将虚拟机镜像文件压缩包解压得到cloudera-qui
学习笔记：hadoop cloudera CDH5.13.1 java编程向HDFS写入文件
LinBSoft的专栏
02-28 1322
hadoop cloudera CDH5.13.1 java编程向HDFS写入文件1.以用户hdfs身份创建需写入文件的目录root@cdh01:~#su hdfshadoop fs -mkdir /outputhadoop fs -chmod 777 /outputexit 2. 创建目录 /root/java 存放编写及编译的代码root@cdh01:~#  mkdir  javaroot@c...
Cloudera QuickStart VM 权限不够
最新发布
03-23
### 解决 Cloudera QuickStart VM 权限不足的问题 在使用 Cloudera QuickStart VM 的过程中，权限不足是一个常见的问题。以下是针对该问题的具体解决方案： #### 1. 修改 HDFS 用户目录权限 如果遇到无法访问某些 HDFS 路径的情况，可以通过修改路径的拥有者来解决问题。例如，在虚拟机中运行以下命令可以更改 `/user/cloudera` 目录的所有权给 `cloudera` 用户[^4]。 ```bash sudo -u hdfs hadoop fs -chown cloudera /user/cloudera ``` 此操作会将指定路径的所有权更改为当前用户（这里是 `cloudera`），从而允许其对该路径执行读写操作。 #### 2. 配置 sudoers 文件 有时需要以管理员身份运行特定命令，而默认情况下可能未授予足够的权限。此时可编辑 `sudoers` 文件并添加必要的权限设置。具体方法如下： - 打开终端输入 `visudo` 命令进入编辑模式； - 添加一行内容： ```plaintext cloudera ALL=(ALL) NOPASSWD:ALL ``` 这一步使得 `cloudera` 用户无需密码即可通过 `sudo` 提升权限。 #### 3. 设置正确的文件系统权限结构 对于本地磁盘上的数据存储位置或其他资源访问需求，则需确保这些区域具有适当的操作许可级别。通常做法包括但不限于调整 Linux 文件系统的 ACL (Access Control List)，或者直接赋予整个项目工作区完全控制权： ```bash chmod -R 755 /path/to/workdir/ chown -R cloudera:cloudera /path/to/workdir/ ``` 上述两条指令分别设置了目标文件夹及其子项的安全属性以及归属关系，使其更适合多进程协作环境中的开发测试活动[^1]。 #### 4. 检查 Kerberos 认证状态 当集群启用了安全机制时，还需要确认客户端已成功完成认证流程才能正常交互服务端组件。如果是这种情况引起的错误提示，请按照官方文档指引重新验证票据有效性或尝试刷新缓存副本[^2]: ```bash kinit -kt /etc/security/keytabs/hdfs.headless.keytab hdfs ``` 以上步骤能够有效缓解因鉴权失败而导致的功能受限现象。 --- ### 总结 综上所述，解决 Cloudera QuickStart VM 中 “insufficient permissions” 错误的方法主要包括调整 HDFS 和操作系统层面的不同层次授权策略，并视具体情况决定是否涉及额外的身份验证环节处理。实际操作前建议先备份重要资料以防万一发生意外丢失情况。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值