混合动力火锅的博客

一直都想学习分布式和大数据，但是之前被搭建环境给劝退了。如今在公司不用自己搭建环境，了一些概念和操作后就可以动手测试，美滋滋。架构：HDFS: 分布式文件存储 YARN: 分布式资源管理 MapReduce: 分布式计算HDFS和YARN逻辑上独立，但是物理上是存在关联的，前者是对磁盘和存储的管理操作，后者是对CPU内存的管理操作这三个组件内部基本都是采用的Master/...

HBase 的数据模型Hbase是一个稀疏的长期存储在磁盘上的有序的映射表，因为是稀疏存储，所以同一张表里面的每一行数据都可以有截然不同的列。数据都是字符串，没有类型概念视图RowKey：行主键， HBase不支持条件查询和Order by等查询，读取记录只能按Row key（及其range）或全表扫描 Column Family：列族，在表创建时声明，每个Column Fa...

HBase的数据大致存储原理存储结构Table中的所有行都按照row key的字典序排列 Table 在行的方向上分割为多个Region Region按大小分割的，每个表开始只有一个region，随着数据增多， region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的region ，不同Region分布到不同RegionServe...

NameNode    Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。应用程序可以设置HDFS保存的文件的副本数目。文件副本的数目称为文件的副本系数，这个信息也是由Namenode保存的。    Namenode全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。接...

前言：    MQ 是什么？队列是什么，MQ 我们可以理解为消息队列，队列我们可以理解为管道。以管道的方式做消息传递。场景：    1.其实我们在双11的时候，当我们凌晨大量的秒杀和抢购商品，然后去结算的时候，就会发现，界面会提醒我们，让我们稍等，以及一些友好的图片文字提醒。而不是像前几年的时代，动不动就页面卡死，报错等来呈现给用户。    在这业务场景中，我们就可以采用队列的机制...