
大数据知识
abcd1101
用过什么决定下限,基础原理决定上限。要相信积累的力量。
展开
-
Yarn(分布式资源管理器)和Zookeeper(分布式协作服务)区别
ZookeeperZookeeper是一个分布式协调服务(Coordination),一个leader,多个follower组成的集群,就是为用户的分布式应用程序提供协调服务。Zookeeper是为别的分布式程序服务的。Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。YarnYARN的目标就是实现“一个集群多个...转载 2019-05-08 21:43:21 · 1165 阅读 · 0 评论 -
操作型数据库(OLTP) VS 分析型数据库(OLAP)
1.what这个技术是什么官方文档定义1. 操作型数据库(OLTP)OLTP,也叫联机事务处理(Online Transaction Processing),表示事务性非常高的系统,一般都是高可用的在线系统,以小的事务以及小的查询为主,评估其系统的时候,一般看其每秒执行的Transaction以及Execute SQL的数量。主要用于业务支撑。一个公司往往会使用并维护若干个数据库,...转载 2019-05-04 22:37:52 · 5953 阅读 · 0 评论 -
吞吐量与并发的公式,优化和参考值
下面的都是整理别人的加上自己的一些思考,有什么不对请多多指教。1.公式:响应时间(RT)是指系统对请求作出响应的时间。吞吐量(Throughput)是指系统在单位时间内处理请求的数量。并发用户数(Maximum concurrent user)是指系统可以同时承载的正常使用系统功能的用户的数量。吞吐量一般指相当一段时间内测量出来的系统单位时间处理的任务数或事务数(我的理解,...转载 2019-04-09 20:58:38 · 5975 阅读 · 0 评论 -
分布式系统在存储层的两种不同架构方式
第一种:基于本地文件系统的分布式系统第二种:基于分布式文件系统HDFS的分布式系统(共享存储)详细:第一种:基于本地文件系统的分布式系统上图中是一个基于本地磁盘存储数据的分布式系统。Index一共有3个Shard,每个Shard除了Primary Shard外,还有一个Replica Shard。当Node 3机器宕机或磁盘损坏的时候,首先确认P3已经不可用,重新选举R3位Pr...转载 2019-04-07 17:46:35 · 1472 阅读 · 0 评论 -
行存储(关系型数据库)与列存储(hbase,es聚合的doc_value)
1.为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表:Ø Row-based storage stores atable ina sequence of rows.Ø Column-based storage storesa table in...转载 2019-06-30 16:40:55 · 1969 阅读 · 0 评论