千帆过尽仍是沧海

背景大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任务存在依赖关系，一张简单的任务依赖图如下：任务调度依赖图 目前各业务

【编者的话】本文对比了Zookeeper、etcd和Consul三种服务发现工具，探讨了最佳的服务发现解决方案，仅供参考。如果使用预定义的端口，服务越多，发生冲突的可能性越大，毕竟，不可能有两个服务监听同一个端口。管理一个拥挤的比方说被几百个服务所使用的所有端口的列表，本身就是一个挑战，添加到该列表后，这些服务需要的数据库和数量会日益增多。因此我们应该部署无需指定端口的服务，并且让Dock

Java web开发部署效率浅析在进行java web程序开发过程中，经常遇到这种问题，修改一个java文件（*.java），需要重启web服务器（如tomcat,weblogic等），部署项目。而起/停服务器浪费了大量的时间。在小项目中，也许我们感觉不到。但对于公司的大型项目：如数据中心，生产等系统开发而言，往往起/停需要等待几分钟时间。更浪费时间的是，对于一个类中的方法的调试过程，如果

在 Java 开发领域，热部署一直是一个难以解决的问题，目前的 Java 虚拟机只能实现方法体的修改热部署，对于整个类的结构修改，仍然需要重启虚拟机，对类重新加载才能完成更新操作。对于某些大型的应用来说，每次的重启都需要花费大量的时间成本。虽然 osgi 架构的出现，让模块重启成为可能，但是如果模块之间有调用关系的话，这样的操作依然会让应用出现短暂的功能性休克。本文将探索如何在不破坏 Java 虚

新开发了一个汇总功能，为了组合数据的方便，所以接口提供非常小的粒度；但是因汇总是有多个时间、地理跨度、且查询数据量比较大，结果是200个请求查询时间非常缓慢，达到了413854毫秒，龟速！！！研究了下HttpClient的多线程调用，经多线程实现后，200个请求耗时61382毫秒，效果非常明显。以下是封装的HttpClientThreadUtil.java工具类：

伴随lambda表达式、streams以及一系列小优化，Java 8 推出了全新的日期时间API，在教程中我们将通过一些简单的实例来学习如何使用新API。Java处理日期、日历和时间的方式一直为社区所诟病，将 java.util.Date设定为可变类型，以及SimpleDateFormat的非线程安全使其应用非常受限。Java也意识到需要一个更好的 API来满足社区中已经习惯了使用JodaTime

上一篇博文《BAT解密：互联网技术发展之路（6）- 服务层技术剖析》中，介绍了互联网业务发展特点的中的“复杂性”的应对方式，本文介绍互联网业务发展特点的另外两个方面“高性能”、“高可用”。一般人提到高性能时第一想到的就是优化，提到高可用时第一反应就是双机或者备份，但是对于互联网这种超大容量和访问量的业务来说，这两个手段都是雕虫小技，无法应对互联网业务的高性能和高可用需求，互联网业务的高可用

BAT解密：互联网技术发展之路（5）- 开发层技术剖析1. 开发框架在系列文章的第2篇“BAT解密：互联网技术发展之路（2）- 业务如何驱动技术发展”中我们深入分析了互联网业务发展的一个特点：复杂性越来越高。复杂性增加的典型现象就是系统越来越多，不同的系统由不同的小组开发。如果每个小组用不同的开发框架和技术，将会带来很多问题，典型的问题有：1）技术人员之间没有共同的技术语言

BAT解密：互联网技术发展之路（2）- 业务如何驱动技术发展在《互联网技术发展之路（1） - 技术发展的驱动力》一文中，我们详细阐述了对于服务类的业务来说，业务发展是技术发展的驱动力。那接下来我们就看看业务究竟是如何驱动技术发展的。 互联网业务千差万别，但由于他们具有“规模决定一切”的相同点，其发展路径也基本上是一致的。互联网业务发展一般分为几个时期：初创期、快速发展期

BAT解密：互联网技术发展之路（4）- 存储层技术剖析1. SQL即关系数据。前几年NoSQL火了一阵子，很多人都理解为NoSQL是完全抛弃关系数据，全部采用非关系型数据，但事实经过几年的试验后，大家发现关系数据不可能完全抛弃，NoSQL不是No SQL，而是Not Only SQL，即NoSQL是SQL的补充。所以互联网行业也必须依赖关系数据，考虑到Oracle太

在系列文章的第2篇“BAT解密：互联网技术发展之路（2）- 业务如何驱动技术发展”中我们深入分析了互联网业务发展的一个特点：复杂性越来越高。复杂性增加的典型现象就是系统越来越多，当系统的数量增加到一定的程度，就由复杂度量变带来了复杂度的质变，主要体现在系统间相互依赖程度加深：比如说为了完成A业务系统，可能需要B、C、D、E等十几个其它系统进行合作。从数学的角度进行评估，可以发现系统间的依赖是指数级

BAT解密：互联网技术发展之路（1） - 技术发展的驱动力互联网行业是一个快速发展、快速变化的行业，新的业务、新的机会层出不穷，新的技术如雨后春笋般冒出，NoSQL、大数据、云、Node.js、Docker等，无时不刻都在轰炸程序员们的脑袋，难怪中国的程序员都流传一个说法：过了30岁不能做技术工作了，因为技术发展太快了！快节奏带来机会，但对于技术人员来说，更多的是带来挑

大部分人对于BAT的技术有一种莫名的崇拜感，觉得只有非常牛逼和天才才能做出现在的这些系统，但经过前面两篇博文的分析，我们可以看到其实并没有什么神秘的力量和魔力融合在技术里面，而是业务的不断发展推动技术的不断发展，一步一个脚印，持续几年甚至10几年的发展，才能达到当前技术复杂度、先进性、牛逼度。抛开BAT各自差异很大的业务，站在技术的角度来看，其实BAT的技术架构基本是一样的，再

今天配合集团SSO升级增量替换代码的时候 , tomcat启动时报 Error listenerStart  ; 然后.....然后就木有了 .............没有打印错误原因 .........网上搜到了解决方案 , 记录一下 :Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调

微软在5月份Build大会上的官方说法，说是这个夏天会放出Windows Server Container的测试版。也就是说，目前我们还无法看到Windows Docker的测试版本，无法直接上手测试。接下来我就大家关心的十大问题进行介绍： 1. Windows Docker和Hyper-V有啥区别？Hyper-V和VMware/Xen/KVM等类似，都是硬件虚拟化

1.1. 控制台使用RocketMQ 提供有控制台及一系列控制台命令，用于管理员对主题，集群，broker 等信息的管理；登录控制台首先进入RocketMQ 工程，进入/RocketMQ/bin在该目录下有个mqadmin 脚本查看帮助在mqadmin 下可以查看有哪些命令sh mqadmin查看具体命令的使用sh mqadm

转于自己在公司的Blog： http://pt.alibaba-inc.com/wp/experience_1264/distributed-transaction.html 关于Dubbo服务框架的分布式事务，虽然现在不急着做，但可以讨论一下。 我觉得事务的管理不应该属于Dubbo框架， Dubbo只需实现可被事务管理即可， 像JDBC和JMS都是可被事务管理的分布式

地址：https://visualvm.dev.java.net/连接1、本地机器的程序直接可以监听到2、远程机器的程序需要加上JVM参数-Dcom.sun.management.jmxremote= true-Dcom.sun.management.jmxremote.port= 9090

最近有些时间，开始接触负载均衡方面的东西，从硬件F5再到Citrix Netscalar。不过因为硬件的配置虽然不复杂，但昂贵的价格也让一般用户望而却步(十几万到几十万)，所以只能转向nginx,squid这类有反向代理功能的软件了。好在其设置都不是很麻烦。      本文就之前所做过的安装和配置步骤做一下总结分享出来，以免日后忘记了。      首先是windows系统，这里建议使用

DataX介绍DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换。目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是，如果我们拥有很多不同类型的数据库/文件系统(Mysql/Oracle

一、Tomcat简单介绍：Sun公司创建了第一个Servlet容器,即Java Web Server,但JWS只是为了演示Servlet的相应功能,所以其性能很不稳定。与此同时,apache基金会组织(ASF)创建了JServ项目,一个能够与apache整合起来的servlet容器。1999年,Sun公司把JWS捐给了ASF,于是两个项目合二为一,即今天Tomcat的前身。第一个tom

转于自己在公司的Blog： http://pt.alibaba-inc.com/wp/experience_886/software_design_general_knowledge.html 最近给团队新人讲了一些设计上的常识，可能会对其它的新人也有些帮助， 把暂时想到的几条，先记在这里。 1. API与SPI分离 框架或组件通常有两类客户，一个是使用者，一个是扩

互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。第一：介绍Dubbo背景    大规模服务化之前，应用可能只是通过RMI或Hessian等

准备环境ApacheApache是http服务器，我们利用其对Tomcat进行负载均衡。目前最新版本为2.2.17，下载地址为http://httpd.apache.org/download.cgi#apache22。如下图： 目前已经出现Apache2.3.11，但是为beta版本，所以没有使用。下载后直接安装msi即可，如果没有其他的http服务器(如iis)则应该可以

1. Dubbo是什么？Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。简单的说，dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东东，说白了就是个远程服务调用的分布式框架（告别Web Service模式中的WSdl，以服务者

http://share.youkuaiyun.com/slides/10659

Dubbo是Alibaba开源的分布式服务框架，它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以抽象出服务提供方（Provider）和服务消费方（Consumer）两个角色。关于注册中心、协议支持、服务监控等内容，详见后面描述。

摘要 研究DUBBO也已经大半年了，对它的大部分源码进行了分析，以及对它的内部机制有了比较深入的了解，以及各个模块的实现。DUBBO包含很多内容，如果想了解DUBBO第一步就是启动它，从而可以很好的使用它，那么如何更好的使用呢？就需要知道DUBBO的各个配置项，以及它可以通过哪些途径进行配置。个人对配置的理解，就好比时对动物的驯服，如何很好的驯服一头猛兽，那就需要知道它各种习性，从而调整，已达到自

这点其实不仅仅是对于REST来说的，作为接口设计都需要能够做到这点，也是作为可扩展和高效性的最基本的保证，就算是使用SOAP的WebService也是一样。 REST vs SOAP 成熟度： SOAP虽然发展到现在已经脱离了初衷，但是对于异构环境服务发布和调用，以及厂商的支持都已经达到了较为成熟的情况。不同平台，开发

[一起学Hive]之一–Hive概述，Hive是什么[一起学Hive]之二–Hive函数大全-完整版[一起学Hive]之三–Hive中的数据库(Database)和表(Table)[一起学Hive]之四-Hive的安装配置[一起学Hive]之五-Hive的视图和分区[一起学Hive]之六-Hive的动态分区[一起学Hive]之七-向Hive表中加载数

java.lang.NoSuchMethodException:  .getPortClassMap()删除xfire-all-1.2.6.jar 中org.codehaus.xfire.jaxws.Provider.class 具体原因请看 : http://hw1287789687.iteye.c