
大数据
拂袖清风
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HBase的命令操作
HBase的命令操作进入hbase的控制台hbase shell查询命名空间list_namespace 'dbtest'创建命名空间create_namespace 'dbtest'drop_namespace 'dbtest'创建表create 'User','info'查看所有表list查看表详情describe 'Use...原创 2019-05-24 16:58:43 · 374 阅读 · 0 评论 -
hive的hiveserver2客户端配置
hive的hiveserver2客户端配置前言hive提供了三种操作方式,一种是使用hive命令行方式进行操作;一种是使用java的api方式进行操作;还有一种是使用http的rest api进行操作。这里,我们只讲前两种的配置和实现。在这之前,我们先了解一下hive的客户端,hive提供了两种客户端,一种是胖客户端,一种是瘦客户端。胖客户端显得比较臃肿,它实现的效果是直接启动服务端和客户端...原创 2019-05-16 15:35:12 · 9678 阅读 · 1 评论 -
kafka2.12集群搭建
kafka的集群搭建kafka是一款热门的消息缓存框架,它不是遵循jms规范,但其模型是生产者与消费者模型。因为它有优秀的高并发性能,处理速度惊人,使得它成为众多企业青睐的对象。在理论上,使用了pageCache和sendFile两种技术,使得其顺序IO的速度为100kb/s,而随机IO的速度是600mb/s。接下来,我们来搭建kafka集群。步骤预览首先,我们需要集群搭建zookeep...原创 2019-05-22 11:42:54 · 2389 阅读 · 4 评论 -
storm1.2.2集群搭建
storm是一个流式并行计算框架,该框架的特点流式处理,尽可能快地处理数据,所以一般被应用在需要实时得出结果的场景。对于一个jar包提交上去的任务对应其内部一整个流程,称为topology,而一个topology里的编程模型有两种组件:spout 负责接收外部数据,下发到blot组件blot 一种是ack的blot,负责处理错误数据,执行重发机制;另一种就是需要我们实现的业务blot,用于接...原创 2019-05-22 20:29:51 · 232 阅读 · 0 评论 -
hbase的java客户端
hbase提供了java客户端去操作数据,我们通过创建一个maven项目来实现简单的数据操作。pom.xml添加hbase插件<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version&...原创 2019-05-27 16:56:20 · 845 阅读 · 0 评论 -
hbase的集群搭建
前言hbase是一款分布式的列式数据库,其数据源寄生在hadoop上,因而与hadoop共生,广泛应用在大数据领域,利用zookeeper作为其分布式协同服务,存储非结构化和半结构化的松散数据,其特点是高可靠,高性能,面向列,可伸缩,实时读写。HBase数据模型Row Key 作为一行数据的唯一标识,按照字典顺序排序,存储64k的字节数据。Column Family 列族,作为hbas...原创 2019-05-23 17:36:59 · 1160 阅读 · 0 评论