weixin_43238751的博客

HBase定义HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bigta...

概念Hive 将 HQL 转换成MapReduce 执行 ，可以说Hive 是基于 hadoop的一个数据仓库工具，实质就是一款基于 HDFS的 MapReduce 计算框架我的大白话解释其实Hive就是基于hdfs以及mr的数据仓库，通过hql进行数据的导入，以及对数据的离线分析。导入数据是将结构化的数据文件映射为一张数据库表，离线分析则是将hql翻译为mr进行执行。相关组件Metas...

事物特性(acid)原子性（A）所谓的原子性就是说，在整个事务中的所有操作，要么全部完成，要么全部不做，没有中间状态。对于事务在执行中发生错误，所有的操作都会被回滚，整个事务就像从没被执行过一样。一致性（C）事务的执行必须保证系统的一致性，就拿转账为例，A有500元，B有300元，如果在一个事务里A成功转给B50元，那么不管并发多少，不管发生什么，只要事务执行成功了，那么最后A账户一定是4...

数据库实现分布式锁https://blog.youkuaiyun.com/nihaoa50/article/details/79569603https://blog.youkuaiyun.com/tianjiabin123/article/details/72625156redis实现分是不是锁http://www.cnblogs.com/linjiqin/p/8003838.htmlzk实现分布式锁分布式事...

最近在研究spark，spark现在可以算是最流行的大数据计算框架啦，mr只能进行离线计算的批处理，presto，implala进行交互式查询，storm只能进行流计算，而spark恰恰集成了这些。我这篇文章只进行基础入门的介绍（系统架构，运行模式）。- spark和mr的比较spark把计算中间数据放到内存（cache，persist），mr的map阶段和ruduce阶段都需要进行溢写落...

create table if not exists brand_dimension(bid STRING,category STRING,brand STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',‘；创建表 导入数据字段按逗号分隔开。其他分隔符为‘/001’ 。load data local inpath ‘/hivedata/...

Yarn作为Hadoop的资源调度框架，承担着扩展Hadoop的重要责任，我们配置Spark时就使用了Spark on Yarn的配置方法，这里简单介绍一些YARN的工作原理，有助于理解整个系统处理作业的过程。在配置好的Hadoop环境中，我们输入jps查看进程，可以看到，master节点上的ResourceManager和slave节点上的NodeManager就是属于Yarn的进程。几个需...

前言虽然mapreduce几乎已经被淘汰，但是他的原理机制还是需要去了解深挖的，他的分而治之的理念差不多是贯通整个大数据的框架的，spark，flink都借鉴了其分而治之的理念，下面是我总结的mapReduce的模型，结构，以及原理。写的不好，请见谅！！！虽然mapreduce几乎已经被淘汰，但是他的原理机制还是需要去了解深挖的，他的分而治之的理念差不多是贯通整个大数据的框架的，spark，fl...

HBase搭建过程中需要注意什么是否使用外部ZooKeeper，这个一般使用Hadoop集群的ZooKeeper集群即可。HBASE_MANAGES_ZK=falsehbase-site.sh的配置hbase.zookeeper.quorum=“host1:2181,host2:2181”HBase优化方法1减少调整减少调整这个如何理解呢？HBase中有几个内容会动态调整，如reg...