
大数据
文章平均质量分 83
KeepSayingNo
分享改变世界
展开
-
Flink快速上手
前面讲Hadoop的时候已经说了大数据的整个生态就是围绕存储采集、存储、计算进行的,今天要说的就是“计算”,目前分离线计算和实时计算,这两大块分别诞生了像Spark和Flink两大Super Star框架,这两大框架的初衷Spark定位于离线计算,Flink定位于实时计算,但随着业务的发展,也是为了市场的占有,二者分别开始蚕食对方的领域,各自在自身的体系架构中融入了实时和离线计算,大有一统江湖之意。原创 2021-11-24 17:02:14 · 1986 阅读 · 1 评论 -
YARN的任务调度器深度剖析
目录 YARN安装和启动 YARN任务调度器分类 容量调度器的设计思想 容量调度器的特点 容量调度器的配置 容器调度器指定队列执行 Yet Another Resource Negotiator简称YARN,另一种资源协调者,是Hadoop的资源管理器。在Hadoop1.0版本之前是通过MR里面的JobTracker来进行任务的分发,之后Hadoop逐渐划分出YARN模块来管理任务的调度,在Hadoop 2.x版本之后YARN独立成了...原创 2021-10-24 22:42:45 · 682 阅读 · 4 评论 -
手把手玩转HBase的增删改查
目录 1.进入命令行 2.表的操作 2.1创建表 2.2修改表 2.3删除表 3.数据的操作 3.1插入数据 3.2修改数据 3.3删除数据 3.4查询数据 上一篇文章教会了大家在最小的环境中搭建HBase,能快速体验HBase数据库。今天教会大家所有的增删改查命令,期待通过数据的操纵更好的体验列式存储数据库的魅力。 1.进入命令行 在安装目录的bin目录下输入下面的命令进入命令行: hbase shell 成功进入shell环境会显示下面的信息: HBase Shell原创 2021-08-07 15:21:00 · 2846 阅读 · 1 评论 -
极小环境搭建HBase
目录 1.下载安装包 2.安装 3.配置 3.1配置HBase依赖的java环境 3.2配置要连接的zk 3.3配置regionservers 3.4配置环境变量 3.5启动HBase 大数据由于组件众多并且依赖性强,导致门槛很高,如果没有现成的环境,很多同学都不知道如何入手,单单搭建一套Hadoop的环境估计都得费很长时间。理解大数据最好的入门从HBase开始,因为它是数据库,虽然是列式存储,和关系型数据库差别很大,但毕竟也是数据库,普通程序员平时打交道最多的就是数据库。今天就带大家一起原创 2021-08-05 19:09:29 · 423 阅读 · 0 评论