小凶許-优快云博客

原创 Druid部署与使用：一、Druid集群部署

一、准备四台服务器：192.168.1.1 druid01 coordinator overlord192.168.1.2 druid02 historical middleManager192.168.1.3 druid03 historical middleManager192.168.1.4 druid04 broker安装包jdk1.8 、h...

2018-09-26 16:21:27 8145 1

原创设计模式-装饰模式

一、设计思想装饰模式遵循开放关闭原则，即开放扩展，关闭修改。其主要思想是，在不修改代码的条件下不断扩展类的功能。二、设计原理一种典型的装饰模式是JAVAIO框架。 FilterInputStream是一个抽象装饰者，是所有装饰者对象的基类，FilterInputStream 和ByteArrayInputStream拥有共同的父类InputStream，Filter...

2018-09-10 17:30:58 223

原创 JAVAIO流详解

流的本质是一组有顺序，有起点有终点的数据的集合，是对数据传输的抽象。JavaIO流根据数据传输特性将流抽象成为各种类，组成了JAVAIO类框架。根据传输数据的类型，分为字节流和字符流，根据流向的不同分为输入流和输出流。以下是JAVAIO流框架： InputStream、OutSteam和 Reader 和Writer是两组抽象接口，分别代表了输入字节流、输出字...

2018-09-10 16:24:21 1306

原创 ElasticSearch的部署及使用：一、ElastciSearch环境搭建

一、ElasticSearch单点模式搭建准备jdk1.8.0_171.zip、elasticsearch-6.4.0.tar.gz（1）安装JDK1.8并配置环境变量略（2）安装elasticsearch 创建用户elastic (elasticsearch 不能使用root用户启动，会报错)useradd -g root -p password e...

2018-09-04 14:28:58 1298

原创 HADOOP的部署及使用：三、HDFS原理及操作

一、HDFS原理由上图可知，HDFS中两个重要的组件是：NamenodeDatanode Namenode上保存着HDFS的名字空间。对于任何对文件系统元数据产生修改的操作，Namenode都会使用一种称为EditLog的事务日志记录下来。Namenode在系统的本地文件系统中存储这个EditLog。同样的整个HDFS的名字空间，包括数据块到文件的映射，文件...

2018-09-03 18:06:13 227

原创 HADOOP的部署及使用：一、HADOOP搭建

Hadoop主要由三部分组成：HDFS(分布式文件系统），MapReduce计算框架以及集中资源调度器。从这个三个不同的角度，Hadopp将主机分为以下六种角色：从HDFS角度出发，主机被分为:Namenode和Datanode，对应守护进程（Namenode和Datanode以及SecondaryNameNode) 从Mapreduce角度出发,主机被分为:JobTr...

2018-08-22 15:26:30 705

原创 Hadoop-Unable to load native-hadoop library for your platform... using builtin-java classes 解决办法

执行 export HADOOP_ROOT_LOGGER=DEBUG,console，开启DEBUG日志执行hadoop checknative -a控制台打印如下：2018-08-02 22:46:25,351 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library......

2018-08-03 10:59:12 1415

原创 HADOOP的部署及使用：二、Hadoop-MapReduce分布式计算模型

一、MapReduce分布式计算模型 MapReduce分布式计算模型分为Map任务和Reduce任务两部分，为方便理解，将Map任务的输入标记为<k1,v1>,输出标记为<k2,v2>,Reduce任务的输出标记为<k3,v3>Map任务执行计划(1) 读取HDFS文件，通过InputFromat将文件分割为inputSplit，将每一行解析为...

2018-08-02 16:00:10 840

原创 Spark的部署及使用：2.hadoop+spark的HA搭建

上章中，完全分布式集群仅对namenode做了备份，并未对resourcemanager做备份，切不能自动切换主备，在生产环境中是十分危险的，本章将介绍一种HA的spark分布式计算集群的搭建方式。一、安装前的准备 (1) jdk1.8.0_171.zip (2)scala-2.11.1.tgz (3)zookeeper-3.4.10.tar.gz...

2018-07-30 15:25:27 779

原创 Spark的部署及使用：1.spark的搭建

spark有三种部署模式，分别为：本地部署（local），伪分布式部署（独立集群部署standalone),完全分布式集群部署（外部集群管理器部署）前两种大多数情况下用于开发调测，并不用于生产环境。一、搭建前的准备 1.jdk1.8.0_171.zip(spark2.2及以后版本不在支持jdk1.7及以下版本） 2.scala...

2018-07-26 17:52:22 627

原创设计模式-单例模式（又名单态模式）

一、设计思想被设计为单例模式的类在整个系统中仅存在一个该类的实例对象。二、设计思路根据单例模式的设计思想，应考虑一个问题，如何保证系统中仅存在一个该类的实例对象？要保证该系统中仅存在一个该类的实例对象，就不能在该类以外的类或方法中使用new关键字创建对象，因此被设计为单例模式的类应有且仅有一个私有构造。即，单例模式的第一个特点：被设计...

2018-05-02 22:37:28 219

weixin_38441544的博客