大数据
青柠-柠
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flume 与 Spark Streaming 的整合
看到这篇文章的你们,我相信你们已经把环境安装好,并且可以运行代码了,话不多说 。 Spark Streaming整合Flume有两种方式,我只介绍这一种 Push 方法 (一定要按照我写的步骤来做 ) 我会写本地环境和服务器环境联调 接下来是本地环境联调 第一步:编写Agent (推荐在flume/conf 文件夹下写conf) flume_push_streaming.c原创 2018-02-02 14:07:11 · 1096 阅读 · 0 评论 -
Hbase 简单了解
HBase 是一个NoSQL数据库,用于处理海量数据,可以支持10亿行百万列的大表,下面就了解一下数据是如何存放在HBase表中的关系型数据库的表结构为了更好的理解HBase表的思路,先回顾一下关系数据库中表的处理方式例如有一个用户表user_info,有字段:id、name、tel,表名和字段需要在建表时指定create table user_info ( id 类型, name 类...转载 2018-03-01 11:20:08 · 466 阅读 · 0 评论 -
hbase数据迁移发生ERROR: Unknown table错误
1.把数据表test从hbase下拷出(hadoop dfs -get /hbase/test ./)2.文件放到新集群的系统上。3.文件拷入新的hadoop集群hbase下(hadoop dfs -put test /hbase/test)4.到hbase shell下list,可以看到test表已经存在,但是你scan的时候出现错误:TABLE test 1 row(s) in 0.0220 ...转载 2018-03-22 21:06:59 · 1928 阅读 · 0 评论
分享