zhongwen7710的专栏

在Java中,异常分为受检查的异常,与运行时异常. 两者都在异常类层次结构中.下面的图展示了Java异常类的继承关系.图1粉红色的是受检查的异常(checked exceptions),其必须被 try{}catch语句块所捕获,或者在方法签名里通过throws子句声明.受检查的异常必须在编译时被捕捉处理,命名为 CHecked Exception 是因为Java编

目录[-]（一）hadoop 相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper（十一）NOSQL（十二）Hadoop 监控与管理（十三）Storm（十四）YARN & Hadoop 2.0（十五）ha

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hc

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率。同时可以减少内存冗余，GC时间等。Tachyon架构        Tachyon的架构是传

WordPress是一个注重美学、易用性和网络标准的个人信息发布平台。WordPress虽为免费的开源软件，但其价值无法用金钱来衡量。WordPress的图形设计在性能上易于操作、易于浏览；在外观上优雅大方、风格清新、色彩诱人。使用WordPress可以搭建功能强大的网络信息发布平台，但更多的是应用于个性化的博客。针对Blog的应用，WordPress能让您省却对后台技术的担心，集中精力做好网站的

Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。

本文内容目录ji1）apache kafka消息服务2）kafka在zookeeper中存储结构3）kafka log4j配置4）kafka replication设计机制5）apache kafka监控系列-监控指标6）kafka.common.ConsumerRebalanceFailedException异常解决办法7）kafak安装与使用8）apache k

数据类型    Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。基本类型包括：byte,short,int,long,char,float,double,Boolean,returnAddress

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服

1、Sqoop是什么Sqoop:SQL-to-Hadoop传统数据库与Hadoop间数据同步工具利用Mapreduce分布式批处理，加快了数据传输速度，保证了容错性2、Sqoop1架构sqoop1 import原理：从传统数据库获取元数据信息(schema、table、field、field type)，把导入功能转换为只有Map的Mapre

memcached是什么？memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中 提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在

一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数

描述本路线图是一个专门针对大数据实时处理、Hadoop工程师和数据分析师所设计的课程体系介绍，在实时计算方向主要包括了从数据收集框架、集群协调框架、数据缓存框架到实时计算框架都全面进行深度解析，让一个普通的开发人员迅速成为实时计算领域的领跑者。也从整体架构上给出了一个实时计算可以践行的基础架构和实时业务处理方法；在离线计算方面主要涉及集群调度框架、Hadoop框架、Hive框架、Hbase

优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时

一、yarn的基本概念最近一段时间，经常看到有人在微博上说，“很多公司暂时用不到YARN，因为一般公司的集群规模并未像Yahoo、Facebook那样达到几千台，甚至将来几万台”。这完全是一种错误的观念，在Hadoop高速发展的时代，必须更正。实际上，上述观念只看到了YARN的扩展性（Scalability），扩展性是可用可不用的特性，中小型公司将YARN部署到小集群（按照IB

本文是阅读《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~mat

阿里巴巴的上市，这不仅是商业和资本领域的一件大事，对于技术世界也是如此，在阿里巴巴的30位合伙人中，我们可以看到多位技术人员的影子，比如阿里巴巴集团CTO王坚，小微金融服务集团CTO程立（花名鲁肃），阿里巴巴集团副首席技术官姜鹏（花名三丰），阿里云高级研究员蔡景现（花名多隆），阿里巴巴集团技术保障、安全技术产品部副总裁刘振飞等。自从人类发明了计算机，技术人的世界就是那么让人痴迷

1       基本信息摘要：每个java开发人员对java.lang.ClassNotFoundExcetpion这个异常肯定都不陌生，这背后就涉及到了java技术体系中的类加载。Java的类加载机制是java技术体系中比较核心的部分，虽然和大部分开发人员直接打交道不多，但是对其背后的机理有一定理解有助于排查程序中出现的类加载失败等技术问题，对理解java虚拟机的连接模型和jav

《PostgreSQL Documentation》介绍：PostgreSQL官方文档主页《PG技术沙龙ppt》介绍：2013年4月PG技术沙龙PPT《PG9.3中文翻译文档》介绍：PG9.3中文翻译文档 谢谢@skykiker提供《PostgreSQL从菜鸟到专家(中译稿 by 洞庭湖的泥鳅)》介绍：这篇文档是国内的一线postgreSQL