hadoop初级班(四)

参考《hadoop权威指南》和炼数成金视频系列

这一节来介绍hadoop中的数据库hbase


他是一个列式数据库,根据行健来进行查询,有时间戳,所以根据时间查很方便。比如删除或更新这种操作,是加入一个删除的记号,某个行键某个时刻被删除了,这主要是因为他是基于HDFS的,HDFS对于修改来说是很麻烦的,所以hbase采用了新建一个文件这种奇怪的方式。

hbase的安装:采用伪分布模式:

1.下载及解压hbase的安装包(tar包,安装版本根据hadoop来选择,这个可以在网上查)

2.修改conf/hbase-env.sh脚本,设置环境变量

修改JAVA_HOME环境变量

修改HBASE_CLASSPATH环境变量(用于斑竹hbase找到hadoop)


3.编辑hbase-site.xml进行配置


先创建用于存放数据的目录/home/grid/hbase-0.90.5/data


4.覆盖hadoop核心jar包,这是关键一步,主要目的是防止因为hbase和hadoop版本不同出现兼容问题,造成hmaster启动异常


5.启动hbase(运行start.sh)。验证Hmaster已经启动(jps)


6.进入shell

hbase shell进入


hbase怎么对数据操作呢?两种方式

1、使用上面所说的shell,使用shell命令,不能运行大多数SQL命令,只能用一些简单的hSQL命令

查询数据库状态:

help帮助

status 可以看到集群有多少服务器,死了多少,负荷多少

version 版本

创建表:create 'member(表名)','member_id'(列族名),'address'(列族名),'info'(列族名)

list 查看表信息   describe 'member'描述表member

alter 'member',{NAME=>'member_id',METHOD=>'delete'}

注意先disable 'member'先离线再操作

drop 'temp_table'删除表

检查一个表是否在 exists'table'

插入数据:



xiaofeng是行键,后面是列族(info,address),列族里的列包括age,birthday等,后面跟着value

查询:


指定行键即可,当然只对某个行键里的某个列族查询也可

删除指定行键的字段:


查询表中有多少行:count'member'

清空表:truncate'member'

2、API 提供了很多的API接口

hadoop权威指南3—5章

http://habse.apache.org/apidocs/index.html



什么情况下使用Hbase?

成熟的数据分析主题,查询模式已经确立并且不轻易改变

传统的关系型数据库已经无法承受负荷,高速插入,大量读取

适合海量的但同时也是简单的操作,key-value型







源码地址: https://pan.quark.cn/s/d1f41682e390 miyoubiAuto 米游社每日米游币自动化Python脚本(务必使用Python3) 8更新:更换cookie的获取地址 注意:禁止在B站、贴吧、或各大论坛大肆传播! 作者已退游,项目不维护了。 如果有能力的可以pr修复。 小引一波 推荐关注几个非常可爱有趣的女孩! 欢迎B站搜索: @嘉然今天吃什么 @向晚大魔王 @乃琳Queen @贝拉kira 第三方库 食用方法 下载源码 在Global.py中设置米游社Cookie 运行myb.py 本地第一次运行时会自动生产一个文件储存cookie,请勿删除 当前仅支持单个账号! 获取Cookie方法 浏览器无痕模式打开 http://user.mihoyo.com/ ,登录账号 按,打开,找到点击 按刷新页面,按下图复制 Cookie: How to get mys cookie 当触发时,可尝试按关闭,然后再次刷新页面,最后复制 Cookie。 也可以使用另一种方法: 复制代码 浏览器无痕模式打开 http://user.mihoyo.com/ ,登录账号 按,打开,找到点击 控制台粘贴代码运行,获得类似的输出信息 部分即为所需复制的 Cookie,点击确定复制 部署方法--腾讯云函数版(推荐! ) 下载项目源码和压缩包 进入项目文件夹打开命令行执行以下命令 xxxxxxx为通过上面方式或取得米游社cookie 一定要用双引号包裹!! 例如: png 复制返回内容(包括括号) 例如: QQ截图20210505031552.png 登录腾讯云函数官网 选择函数服务-新建-自定义创建 函数名称随意-地区随意-运行环境Python3....
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大兔齐齐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值