
java
文章平均质量分 59
好刹那
这个作者很懒,什么都没留下…
展开
-
Hadoop:Hive metastore三种配置方式
Hive metastore三种配置方式Hive的meta数据支持以下三种存储方式,其中两种属于本地存储,一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式,链接为:Hive Metastore。一、本地derby这种方式是最简单的存储方式,只需要在hive-site.xml做如下配置便可[html]view plainc...转载 2020-01-11 13:41:55 · 702 阅读 · 0 评论 -
Hadoop:namenode访问端口2.x默认50070与3.x默认9870
Hadoop2.x的namenode界面访问端口默认是:50070Hadoop3.x的namenode界面访问端口默认是:9870通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改: cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...原创 2020-01-10 00:22:05 · 9093 阅读 · 0 评论 -
Hadoop : datanode运行不起来 报错 Initialization failed for Block pool (Datanode Uuid unassigned)
一、原因是namenode和datanode的clusterID不一致导致datanode无法启动.二、解决:2.1思路:删除data、tmp、namenode 数据后,重新格式化。2.2步骤:查看tmp的物理路劲 core-site.xml <!-- Hadoop文件系统依赖的基础配置 --> <property> <name>ha...转载 2020-01-02 23:56:17 · 1481 阅读 · 2 评论 -
CDH 6.3.x 各组件版本
信息来自官网:https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_packaging.htmlCDH 6.3.2 PackagingComponent Component Version Changes Information Apache Avro ...原创 2019-12-29 22:46:15 · 7725 阅读 · 0 评论 -
09 智能边缘 初识:智能边缘概念理解
什么是智能边缘智能边缘是描述一个过程的术语,在该过程中,数据在靠近网络捕获位置的位置进行分析和聚合。智能边缘,也被称为“边缘情报”,对包括物联网(IoT)在内的分布式网络具有重要影响。利用智能边缘,系统的远程或分散节点有权执行传统上在系统中心点处理的不同类型的数据处理。特别是在 IoT 中,将来自物联网连接设备的所有多个数据流路由到中央数据仓库或存储库的经典模型具有几个明显的缺点。它可...转载 2019-12-29 11:36:44 · 390 阅读 · 0 评论 -
08 中台架构 00 入门:什么是中台架构?
传统企业平台都是烟囱式的系统架构,企业内部为了迎合业务发展不停的打造各种系统,导致各系统间的重复功能建设和维护带来的重复投资。重复投资不仅消耗的是人力,财力还有时间。但打通烟囱式系统间交互的集成和协作成本高昂,各大企业不得不借助ESB产品,构建企业服务总线,打通各系统间的交互问题。 但这种借助ESB“中心化”的服务架构缺点也有不少,“中心化”架构的所有服务调用者和服务提供者之间的交互都必...转载 2019-12-18 18:14:17 · 393 阅读 · 0 评论 -
03 分布式 07 sharding-sphere:ShardingSphere简介
ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈。它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成,shardingSphere定位为关系型数据库中间件。1. Sharding-JDBCSharding-JDBC是Sharding-Sphere的第一个产品,也是Sharding-...转载 2019-12-13 00:09:02 · 285 阅读 · 0 评论 -
03 分布式 08 mangodb:MongoDB 入门篇
1.1 数据库管理系统 在了解MongoDB之前需要先了解先数据库管理系统1.1.1 什么是数据? 数据(英语:data),是指未经过处理的原始记录。 一般而言,数据缺乏组织及分类,无法明确的表达事物代表的意义,它可能是一堆的杂志、一大叠的报纸、数种的开会记录或是整本病人的病历纪录。数据描述事物的符号记录,是可定义为意义的实体,涉及事物的存在形式。是关于事件之一组...转载 2019-12-13 00:05:56 · 509 阅读 · 0 评论 -
07 运维 01 HP-Unix:HP UX安装jdk过程全纪录
参考原文,实际操作,成功。操作系统是:B.11.31安装的是Itanium_JDK_8.0.18_June_2019_Z7550-96733_java8_18018_ia.depot 。需要root权限。注意事项:(1)安装包,一定从官网下载,避免有木马,下载前需要注册HP账号(如果能翻墙,速度快不少)。https://h20392.www2.hpe.com/port...转载 2019-12-11 16:28:53 · 1406 阅读 · 1 评论 -
03 分布式 05 消息中间件:RocketMQ和kafka基本认识以及应用场景
文章目录一、rocketMQ二、Kafka三、应用场景对比四、RocketMQ和Kafka对比1. 吞吐量对比五、为什么阿里会自研RocketMQ?六、分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖?参考一、rocketMQRocketMQ联合创始人:选择MQ时,要注意的有哪些?参考URL: https://blog...转载 2019-12-11 00:15:04 · 284 阅读 · 0 评论 -
03 分布式 05 消息中间件:消息中间件入门
1、是什么1.1. Java Message ServiceJMS即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS提供支持。JMS允许应用程序组件基于JavaEE平台...原创 2019-12-10 23:16:05 · 252 阅读 · 0 评论 -
06 工程化 03 Jenkins:Jenkins详细教程
一、jenkins是什么? Jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具,起源于Hudson(Hudson是商用的),主要用于持续、自动的构建/测试软件项目、监控外部任务的运行(这个比较抽象,暂且写上,不做解释)。Jenkins用Java语言编写,可在Tomcat等流行的servlet容器中运行,也可独立运行。通常与版本管理工具(SCM)、构建工具结合使用。...转载 2019-12-10 09:02:41 · 288 阅读 · 0 评论 -
03 分布式 03 Dubbo:Dubbo
一、Dubbo是什么?Dubbo是阿里巴巴开源的基于 Java 的高性能 RPC(一种远程调用) 分布式服务框架(SOA),致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。二、为什么要用Dubbo?因为是阿里开源项目,国内很多互联网公司都在用,已经经过很多线上考验。内部使用了 Netty、Zookeeper,保证了高性能高可用性。1、使用Dubbo可以将核心业...转载 2019-12-10 00:05:43 · 128 阅读 · 0 评论 -
03 分布式 00 分布式:分布式系统入门
分布式系统技术概要现在互联网应用,尤其是大型互联网公司的应用已经发展为大规模或超大规模的分布式的,集群化的应用。而中小规模的分布式应用也已广泛出现在各个领域。未来,随着云计算向社会生活的方方面面去渗透,分布式应用将更加地普及。所以,任何一个要从事服务器端应用开发的人员,都有具备对分布式应用的基本认识。本文将简要介绍分布式应用的各基本领域的相关技术。这些技术在一个分布式应用中都会有或多或少的...转载 2019-12-09 00:01:32 · 221 阅读 · 0 评论 -
03 分布式 02 Zookeeper:Zookeeper可视化WEB工具(zkui)搭建与配置
前提:zookeeper 可视化WEB工具zkui依赖java环境,因此需要安装jdk,同时zkui源码要Maven编译,需要安装apache-maven.JDK下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlApache-maven下载地址:https://m...转载 2019-12-08 23:50:28 · 268 阅读 · 0 评论 -
03 分布式 02 Zookeeper:Zookeeper入门看这篇就够了
Zookeeper是什么官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。上面的解释有点抽象,简单来说zookeeper=文件系统+监听通知机制。1、 文件系统Zookeeper维护一个类似文件系统的数据结...转载 2019-12-08 23:07:23 · 127 阅读 · 0 评论 -
03 分布式 01 Netty:Netty之Reactor模式
Netty、NIO理清NIO与Netty的关系之前,我们必须先要来看看Reactor模式。Netty是一个典型的多线程的Reactor模式的使用,理解了这部分,在宏观上理解Netty的NIO及多线程部分就不会有什么困难了。Reactor模式Reactor的由来Reactor模式究竟是个什么东西呢?这要从事件驱动的开发方式说起。我们知道,对于应用服务器,一个主要规律就是,CPU的处理速...转载 2019-12-08 17:14:11 · 180 阅读 · 0 评论 -
分析Model2系统心得
观摩他人的项目,学到一些新的。实践经验呀!!!原创 2014-05-12 22:05:16 · 870 阅读 · 0 评论 -
Java中this关键字的整理
Java中this关键字有什么用处,以前很少涉及到需要理解的地方,需要讨论的地方也不多,还真没有好好整理过。本文将简叙this关键字的用处、特点和一个重要知识点。原创 2014-03-08 21:27:31 · 732 阅读 · 0 评论 -
策略模式--GOF的23个之一
问题:1、 代码在多个子类中重复。2、 运行时的行为不容易改变。3、 很难知道所有鸭子的全部行为。4、 改变会牵一发动全身,造成其他鸭子不想要的改变。5、 并非所有子类都有一个行为(并非所有鸭子都能飞)。6、 开Flyalbe接口,造成代码无法复用。7、 子类对同一接口有不同的实现方式(鸭子飞行的动作可能多种变化)。原创 2014-01-05 00:54:10 · 1152 阅读 · 0 评论 -
观察者模式—GOF的23个之一
认识观察者模式(资料)我们看看报纸和杂志的订阅是怎么回事:1、 报社的业务就是出版报纸。2、向某家报社订阅报纸,只要他们有新报纸出版,就会给你送来。只要你是他们的订户,你就会一直收到新报纸。3、当你不想再看报纸的时候,取消订阅,他们就不会再送新报纸来。4、只要报社还在运营,就会一直有人(或单位)向他们订阅报纸或取消订阅报纸。原创 2014-01-05 18:25:56 · 1015 阅读 · 0 评论 -
装饰者模式—GOF的23个之一
1、继承属于扩展形式之一,但不见得是达到弹性设计的最佳方式。2、在我们的设计中,应该允许行为可以被扩展,而无须修改现有的代码。3、组合和委托可用于在运行时动态地加上新的行为。原创 2014-01-07 20:41:41 · 942 阅读 · 0 评论 -
简单工厂模式--不是GOF的23个的模式
简单工厂模式其实不是设计模式,反而是比较像是一种编程习惯。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式,可以理解为是不同工厂模式的一个特殊实现。原创 2014-01-14 15:33:34 · 1187 阅读 · 1 评论 -
工厂方法模式--GOF的23个之一
原本是由一个对象负责所有具体类的实例化,改为一群子类来负责实例化。 优点:工厂方法模式帮助我们将产品的“实现”从“使用”中解耦。缺点:利用字符串传入参数化的类型,很危险。原创 2014-01-14 20:59:32 · 1006 阅读 · 0 评论 -
设计原则—依赖倒置原则
设计原则—依赖倒置原则要依赖抽象,不要依赖具体类。“封装变化”将创建对象的代码封装起来。想要遵循依赖倒置原则,工厂方法并非唯一的技巧,但却是最有威力的技巧。原创 2014-01-14 21:05:47 · 895 阅读 · 0 评论 -
工厂方法模式与抽象工厂模式的区别
很多程序员分不清楚几个工厂模式(简单工厂模式、工厂方法模式、抽象工厂模式)。在前面的博文(工厂方法模式)中,我已经简单说明了简单工厂模式与工厂方法模式的区别,这里我简单归纳说明一下工厂方法模式与抽象工厂模式的区别。这是我理解玩抽象工厂模式后的笔记。原创 2014-01-15 12:25:11 · 2476 阅读 · 0 评论 -
抽象工厂模式--GOF的23个之一
通过抽象工厂搜提供的接口,可以创建产品的家族,利用这个接口书写代码,我们的代码将从实际工厂解耦,以便在不同上下文中实现各种各样的工厂,制造出各种不同的产品。例如:不同的区域、不同的操作系统、不同的外观及操作。原创 2014-01-15 12:14:56 · 1271 阅读 · 0 评论 -
单例模式的五种实现形式
本来单例模式的五种模式在上一票博文中已经写到,这里再次写出,一是方便需要的战友们能立即查询获取,二是告诉自己它们的重要性。五种实现方式是:经典模式、懒汉式、饿汉式、双重检查加锁、登记式。原创 2014-01-19 22:05:48 · 1060 阅读 · 0 评论 -
单例模式--GOF的23个之一
选择单例模式就是为了避免不一致状态。优势:1、 单例模式的类图是所有模式的类图中最简单的。2、 单例模式让我们在任何时刻都只有一个对象。3、 单例模式可以延迟实例化。原创 2014-01-19 21:54:06 · 979 阅读 · 0 评论 -
Java内存空间划分初识(适合初学者)
在编程中,自己归纳过那些变量会被初始化,可是全靠死记硬背,实际开发中还老犯错。后来在看书中,了解是自己对Java内存空间的认识不足。今天通过看视频,查阅书籍和网上查询,简单归纳了Java内存空间划分,使得自己对Java数据分类和运用有很大的提升。现在分享给大家,希望能有一些帮助和启发。原创 2014-03-04 21:48:32 · 1151 阅读 · 0 评论 -
数组-二维数组(内存分布,相关运用)
平时用的数组机会也不少,但对二维数组的总结较少。对二维数组的内存分布更是没有了解过。今天对二维数组的内存分布和相关运用进行了重新认识和归纳。原创 2014-03-06 10:58:49 · 2490 阅读 · 0 评论 -
数组-应用(作为关系映射表,作为临时容器)
学习编程也有不短的时间了,不论是C++还是Java,都有着数组的运用。但是数组在什么时候使用,从来没有考虑过,或者说认为使用顺其自然。可实际开发中,常常无法想起数组,而绞尽脑汁另辟蹊径。后来通过了解,获知数组的两个实用方向。让数组作为关系映射表,称为查表法。数据多时,存储起来,让数组作为临时容器。原创 2014-03-06 08:54:27 · 1585 阅读 · 0 评论 -
Java中main函数认识
Java中main函数认识 前言:今天对Java的main函数进行了简单认识和总结。 public static voidmain(String[] args){ System.out.println(args); System.out.println(args.length);} public:因为权限必须是最大的。static:不需要对象的,原创 2014-03-08 21:28:18 · 670 阅读 · 0 评论 -
Java的静态代码块、构造代码块、局部代码块
学习还三种代码块,以前一直不明所以。现在对其进行了整理。作为笔记,也希望给浏览者一些帮助。原创 2014-03-08 21:29:31 · 750 阅读 · 0 评论 -
那些争议最大的编程观点
知名问答网站StackOverflow之所以成功,合理的规则与严格执行是重要的原因,所以删帖是经常的。不过有时候执行得过严了,被删的问答不时会有惊艳之作。这不,他们的博客8月29日的文章“20个最受争议的编程观点”说的就是这样一个被删帖。此文一出,立刻在Reddit、Hacker News等各大技术新闻站上引起了热议。 实际上2010年酷壳曾经有文章介绍过其中的十条,但观点转载 2013-12-29 17:05:58 · 577 阅读 · 0 评论