hadoop hbase 整合本地安装配置

Kettle的安装和使用 Kettle的安装和使用 1.本地环境安装 解压文件,双击Spoon.bat操作文件 使用Mysql相关的表输入输出组件以及hive的组件需要自己上传mysql驱动 本机整合大数据环境 整合Hadoop平台 hadoop下载核心配置文件 sz /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml sz /... 阅读详情

今天因为需要配置了hadoop和hbase的伪分布式开发环境。参考了网上的一些教程,自己也遇到了一些问题。记录下。

我的机器是:ubuntu 12.04 版。已经装好了jdk,环境配置网上有许多的教程。就不说这个了。

hadoop的环境搭建是依照这个连接来搭建的。http://www.linuxidc.com/Linux/2013-01/77681.htm

说说搭建的过程中遇到的问题吧。对了,我下载的是hadoop1.2.1版的。后面有个问题。

1、将hadoop添加为管理员用户,我的系统下只有adm用户组,没有admin。所以我最后使用的是系统设置里面图形设置才把hadoop设置为管理员用户。后来,因为我不想再弄一个用户。所以就没有管hadoop这个用户。也就是说我使用的还是我装系统的时候创建的超级管理员用户。

2、在第四页格式化namenode的时候,会让我们选择Y/N,结果我打了个小写的y,最后导致没有namenode成功。然后后面卡了半天,折腾好久后才发现是这个问题。可见小问题不能忽略。当然,也只有我才犯这么脑残的错误了。->_->

3、在测试最后一个分布式的hdfs上的wordcount程序时,我的总是出错。后来让学长帮忙,发现我的datanode没有启动,学长看log文件,才发现是我给的权限太大了,可能是hadoop1.2.1增加了安全机制,导致权限都有限制吧。所以datanode没有出来。后来把某个文件夹的权限降低了,才跑起来了。嗯,小生惭愧。学长操作太快,都没看清怎么看log的,然后呢,无法说明太清楚。


搭完了hadoop,我接着搭建hbase

1、下载,解压

2、配置hbase-site.xml

<property>
          <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
           <name>hbase.coprocessor.region.classes</name>
          <value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
     </property>
    <property>
          <name>hbase.cluster.distributed</name>
           <value>true</value>
       </property>
    <property>
        <name>hbase.coprocessor.region.classes</name>
        <value>coprocessor.RowCountEndpoint</value>
    </property>

3、配置hbase-env.sh

export JAVA_HOME=/usr/local/development/jdk1.7.0_45

export HBASE_MANAGES_ZK=true  (因为我使用的是hbase自带的zookeeper,所以就设置这个为true)


然后就ok了。


关于那个hbase的配置,我不知道我的是不是对的。不过貌似就这么多了。

最后启动hadoop和hbase,使用jps查看运行的进程是不是都到位了。

Hive安装及与HBase的整合 介绍Hive的工作原理、配置及与HBase的整合。 阅读详情

相关推荐

Hbase与hadoop的整合

最后,还需要新增一个配置文件backup-masters,用来实现hbase集群的高可用,为了保证HBase集群的高可靠性,HBase支持多Backup Master设置,当Active Master故障宕机后,Backup Master可以自动接管整个HBase的集群。从图中可以看出,hbase1.2以后的版本支持JDK7和JDK8,而hbase2.0-2.2之间的版本仅仅支持JDK8,hbase2.3以后版本,仅支持JDK1.8,而JDK11目前还没有进行测试,所以这里我们选择JDK8版本。

悦分享 1437

【Hbase】Windows下安装HBase(图文记录详细步骤、常见错误解答FAQ(Frequently Asked Questions))

HBase(Hadoop Database),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

tttzzzqqq2018的博客 1万+

Hadoop 2.6和HBase 0.96的伪分布式配置与安装指南

Hadoop 是一个开源框架,由 Apache Software Foundation 开发。它允许分布式存储和处理大数据。Hadoop 的核心模块之一是 MapReduce,一个编程模型,用于处理和生成大数据集。Hadoop 采用 Java 语言编写,具有模块化设计,用户可以在其基础上开发和部署自定义组件。HBase,基于 Google 的 Bigtable 论文,是一个开源的非关系型分布式数据库(NoSQL),旨在提供快速随机访问大规模结构化数据集。

weixin_42518874的博客 968

hbase安装教程

通过本实验,我们学习了HBase的安装配置过程,并成功在Linux环境下安装了HBase。在实验过程中,需要注意选择与Hadoop版本兼容的HBase版本,并正确配置环境变量。3. 完成实验后,可以尝试进行HBase的基本操作和使用,以加深对HBase的理解和应用能力。1. 在实验前,建议提前了解HBase的基本概念和特点,以便更好地理解和掌握实验内容。本实验旨在学习和掌握HBase的安装配置过程,为后续HBase的使用和实验打下基础。2. 在文件末尾添加HBase安装路径的配置信息,例如:`

weixin_71512510的博客 4927

Hadoop、HBase与Pinpoint整合SpringBoot的完整搭建指南

Pinpoint 是一款开源的分布式系统监控工具,由韩国 Naver 公司开发。它能够提供实时的性能监控服务,主要用于大规模分布式系统,尤其是微服务架构的监控。Pinpoint 的特点和功能主要包括:分布式追踪系统: Pinpoint 可以追踪跨多个服务的请求链路,这在微服务架构中至关重要。低性能开销: 与其它监控工具相比,Pinpoint 对系统性能影响较小。应用拓扑映射: 自动映射出应用程序的服务调用关系图。数据可视化。

weixin_42596246的博客 1143

告别玄学调参:手把手教你用LSTM-AutoEncoder为传感器数据做异常检测(实战篇)

本文详细介绍了LSTM-AutoEncoder在传感器数据异常检测中的工程化实践,包括数据预处理、模型架构设计和生产环境部署策略。通过结合LSTM的时间序列处理能力和AutoEncoder的特征提取优势,该方法能够有效识别温湿度、PM2.5等传感器数据的异常模式,适用于工业物联网和室内空气质量监测等场景。

weixin_29212429的博客 477

HBase的学习以及安装

HBase的安装也分为三种,单机版伪分布版分布版。

2301_76934422的博客 2318

基于MS5351的三通道可编程时钟发生器设计

时钟发生器是数字系统时序验证与信号完整性测试的核心基础设备,其原理基于锁相环(PLL)对参考晶振进行倍频与分频控制,通过寄存器配置实现多路独立频率输出。技术价值体现在高精度、低抖动、快速切换与工程可部署性之间取得平衡,尤其适用于FPGA/ASIC参考时钟调试、ADC/DAC采样时钟验证及嵌入式硬件时序裕量评估等场景。本方案采用MS5351三通道时钟芯片与ESP32主控协同架构,在保证LVCMOS输出质量与I²C可编程性的前提下,优化电源噪声抑制、晶体负载匹配和跨板信号完整性,兼顾成本、周期与实测稳定性,为实

weixin_31715353的博客 210

HBase单机版安装详细步骤

HBase单机版安装详细步骤

雷神乐乐的博客 3915

告别软件轮询!用STM32G474的COMP比较器实现纳秒级硬件过压保护(CubeMX配置详解)

本文详细介绍了如何利用STM32G474的COMP比较器实现纳秒级硬件过压保护,通过CubeMX配置详解,展示了硬件比较器相比传统软件轮询方案在响应时间、CPU占用和可靠性等方面的显著优势。文章还提供了实战配置流程和优化技巧,帮助工程师快速构建高效的硬件保护系统。

weixin_28683689的博客 351

ABAP BOM展开避坑指南:CS_BOM_EXPL_MAT_V2函数参数配置详解

本文深入解析了SAP ABAP开发中用于物料清单展开的核心函数CS_BOM_EXPL_MAT_V2。针对其复杂的参数配置,如CAPID、STLAN、DATUV和MEHRS,提供了详细的避坑指南和最佳实践,帮助开发者避免数据错误与性能陷阱,实现高效、准确的BOM多层展开。

pea55的博客 854

安装HBase分布式数据库

目标与成果:HBase成功安装了HBase并配置了与Hadoop集群的集成。通过 start-hbase.sh 脚本启动了HBase集群。HBase学习并实践了创建表、插入数据、查询数据等基本操作。使用HBase Shell进行了交互式操作。错误分析与解决:SLF4J日志绑定冲突:启动HBase时,出现了SLF4J日志绑定冲突的错误。确定存在多个SLF4J绑定,通过移除或排除多余的绑定jar包来解决冲突。

2301_80956509的博客 1491

★教程1:matlab学习教程入门100例目录

★基础入门 1.为什么要学习MATLAB 2.MATLAB安装 持续更新....... ★MATLAB基础编程语言熟悉

FPGA/MATLAB学习教程/源码/项目合作开发 4万+

hbase安装配置 整合到hadoop

hbase安装配置 整合到hadoop

skiwnc的博客 2767

【Bluedroid】BLE连接过程详解

Bluedroid BLE的链接过程包括扫描、连接和通信三个基本步骤。通过这些步骤,中央设备和外围设备之间可以建立起稳定、高效的通信链路,实现数据传输和控制操作。

byte轻骑兵的技术小窝 1876

Open Dynamics Engine(ODE)物理引擎基础教程(I)——特点介绍

下一教程 Open Dynamics Engine(ODE)物理引擎基础教程(II)——相关概念 (在这一教程中将学习刚体、关节、碰撞的概念在ODE中的特点) 本文结构引言介绍特点使用ODE总结 引言 本文翻译自ODE官方教程英文版,有些地方增加了自己的理解。这一节介绍ODE的相关概念。 基础教程英文原版链接【http://ode.org/wiki/index.php?title=Manua...

腿足机器人领域 1677

Hadoop HBase Hive安装,配置,整合

软件环境:Hadoop2.4, HBase

IT人生 6055

DeerFlow 系列教程 第四篇 | Sandbox 沙箱与 Sub-agent 子智能体协作详解

DeerFlow 系列教程第四篇介绍了两个关键子系统:Sandbox 沙箱系统和Sub-agent子智能体协作机制。沙箱系统通过虚拟路径映射、权限白名单、命令审计和容器隔离四重机制,为Agent提供安全的代码执行环境,使其能在隔离环境中执行文件操作和脚本运行。系统采用分层架构设计,包含应用层、工具层、审计层等,核心是定义标准交互接口的抽象基类。虚拟路径系统将Agent操作的虚拟路径映射到实际路径,确保安全性。这些功能使DeerFlow从对话助手进化为能处理复杂任务的Super Agent平台。

weixin_43674738的博客 284

SpringBoot整合Hbase

当单表数据量过大的时候,关系性数据库会出现性能瓶颈,这时候我们就可以用NoSql,比如Hbase就是一个不错的解决方案。。。

小夏陌的博客 8万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【ETL工具】Kettle 整合大数据平台(Hadoop、Hive、HBase)

目录一、Kettle整合Hadoop1、 整合步骤2、Hadoop file input组件3、Hadoop file output组件二、Kettle整合Hive1、初始化数据2、 kettle与Hive 整合配置3、从hive 中读取数据4、把数据保存到hive数据库5、Hadoop Copy Files组件6、执行Hive的HiveSQL语句三、Kettle整合HBase1、HBase初始化2. HBase input组件3、HBase output组件环境 kettle 8.2 版本:kettle

康师傅没有眼泪 8656

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Phoenix整合HBase安装部署、HBase整合Phoenix安装部署

Phoenix整合HBase安装部署前言一、安装HBase、Phoenix二、安装1.HBase安装2.Phoenix安装3.部署1.配置HBase整合Phoenix分发集群文件启动验证总结 、 文章目录前言一、安装HBase、Phoenix二、安装1.HBase安装2.Phoenix安装3.部署1.配置HBase整合Phoenix分发集群文件启动验证总结 前言 相信很多小伙伴在安装phoenix连接hbase的时候被版本和配置问题困扰过,那么这篇文章可以很好的帮助你解决这个问题。 PS:HBase和

qq_40751062的博客 8440

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

kettle整合CDH hadoop、hive、hbase

环境说明 Hadoop 2.6.0 cdh5.14.0 kettle 8.2 准备工作 设置hadoop文件系统权限 查看hadoop文件系统 方式一: 浏览器访问 hadoop namenode地址:50070端口 方式二: 通过终端 hadoop fs -ls 创建目录 hadoop fs -markdir -p /hadoop/test 查看用户是否有创建权限 使用 sudo -u hdfs hadoop fs -chmod -R 777 / 改变hadoop目录访问权限,之后再次创建

dgqg1223 1300

hbase安装配置(整合到hadoop)

hbase安装配置(整合到hadoop)  Huangguisu 1.快速单机安装: 在单机安装Hbase的方法。会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase。只要10分钟就可以完成以下的操作。 1.1下载解压最新版本 选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase/,下载 HBase

黄规速博客:学如逆水行舟,不进则退 15万+

hadoop+hive+hbase的整合开发(配置加测试)

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库  1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.youkuaiyun.com/kunshan_shenbin/article/details/7105319  2. HBase 0.

刘瑞东的专栏 2646

HBase:HBase与Hadoop的整合(伪分布式Hadoop)

1.声明 当前内容主要用于本人学习和复习,当前内容主要是将HBase与再次配置的Hadoop(伪分布式)的整合 当前内容主要基于前面的博文:伪分布式的Hadoop的安装和启动 这里为了方便访问开放hadoop的端口让外界访问 firewall-cmd --zone=public --add-port=50020/tcp --permanent ## 9000端口就是HDFS的访问端口 firewall-cmd --zone=public --add-port=9000/tcp --permanent fi

编程学习者的博客 1356
上一篇: hbase java 实例
下一篇: hadoop2.2.0编译
seedcup
博客等级 码龄14年 154粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值