L_king_-优快云博客

原创数据湖、数据集市、数据仓库入门级理解

数据湖、数据集市、数据仓库每个应用程序会产生、存储大量数据，而这些数据并不能被其他应用程序使用，这种状况导致数据孤岛的产生。数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。能处理所有类型的数据，如结构化数据，非结构化数据，半结构化数据等，数据的类型依赖于数据源系统的原始数据格式。拥有足够强的计算能力用于处理和分析所有类型的数据，分析后的数据会被存储起来供用户使用。数据湖通常包含更多的相关的信息，这些信息有很高概率会被访问，并且能够为企业挖掘新的运营需求。

2021-01-13 14:51:16 272

原创 HDFS Master/Slave 模式中的组件介绍

Master/Slave NameNode(NN) 活动Master管理节点（全局唯一）管理命名空间管理元数据管理Block副本策略：默认3个处理客户端读写请求，为DataNode分配任务 Secondary NameNode（SNN）不是热备。定期帮助NN合并fsimage与edits文件，减少NN启动时间。 NameNode元数据文件 edits(编辑日志文件)：保存了自最新检查点（CheckPoint）之后的所有文件更新操作 fsimage（元数据检查点镜像文件，相当于内存的快照

2021-01-12 16:04:31 396

原创 HDFS优缺点

HDFS优缺点优点：高容错、高可用、高扩展。 HDFS有副本冗余机制，包括其自身在内默认会有3个副本随机存放在集群的不同的服务器上，如果服务器宕机，HDFS会通过COPY的方式永远保证数据的副本不会低于三个。海量数据存储构建成本低、安全可靠适合大规模离线批处理流式数据访问，HDFS 一次写入，多次读取，支持追加，不允许修改，保证数据一致性。数据位置暴露给计算框架。缺点不适合低延迟数据访问在某一时间内大量写入、读取数据，但是毫秒级这种低延时它是支持不了的。不适合

2021-01-12 12:12:22 491 2

原创数据库设计（三范式）入门级理解

数据库设计（三范式）入门级理解第一范式（1NF）要求数据库表的每一列都是不可分割的原子数据项。第二范式（2NF）要求数据库表的每一列都对主键唯一依赖。第三范式（3NF) 要求数据库表的每一列都消除间接依赖。 ...

2020-12-28 11:09:01 156

原创 Zookeeper入门理解

** Zookeeper入门理解 ** Zookeeper是一个底层的分布式协调服务工具，把框架告诉它，它自动协调（只要集群中有一台能连上就能获取Zookeeper的数据信息）。 1.zookeeper可以做很多服务中间件的协调组件，比如hadoop,kafka,hbase.可以协调不同集群节点的状态。 2可以做很多服务中间的配置数据存储，比如集群节点存储，集群信息存储存储在zookeeper上已注册的观察者的数据（元信息，配置信息）。如果数据发生变化负责通知已注册的观察者（服务端）做出相对于的反应。

2020-12-24 22:41:58 175 1

原创 StringBuffer 和 StringBuilder 类

StringBuffer 和 StringBuilder 类和 String 类不同的是，StringBuffer 和 StringBuilder 类的对象能够被多次的修改，并且不产生新的未使用对象。 StringBuilder 类在 Java 5 中被提出，它和 StringBuffer 之间的最大不同在于 StringBuilder 的方法不是线程安全的（不能同步访问）。由于 StringBuilder 相较于 StringBuffer 有速度优势，所以多数情况下建议使用 StringBuilder

2020-12-23 23:12:42 120

原创 String和stringBuffered的区别

String和stringBuffered的区别在Java中一切都是对象，对象是类的实例。字符串“aaaa"在java中属于对象，而Java中提供了String类来创建和操纵字符串。先理解String str =”ssss",如果在常量池中没有“ssss” 则编译器会自动创建一个“ssss”对象，在栈中会创建一个String类的引用对象str来指向常量池中的”ssss"。补充堆，栈，常量池的知识点常量池用来存储字符串常量和基本类型常量，并且有个对象共享的概念堆所有new xxx()构造出来

2020-12-23 22:59:10 333

L_king_的博客