- 博客(71)
- 收藏
- 关注
RSS订阅转载 彻底理解MapReduce shuffle过程原理
本文转自：http://blog.itpub.net/29754888/viewspace-1704959/MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapR
2016-03-16 13:37:04
832
转载 Sigar介绍与使用(获取系统信息)
原文：http://364434006.iteye.com/blog/1747490Sigar是Hyperic-hq产品的基础包,是Hyperic HQ主要的数据收集组件。它用来从许多平台收集系统和处理信息.这些平台包括：Linux, Windows, Solaris, AIX, HP-UX, FreeBSD and Mac OSX.Sigar有C，C#，J
2016-03-10 13:11:38
1464
转载 ThreadPoolExecutor机制
本文转自：http://825635381.iteye.com/blog/2184680ThreadPoolExecutor机制 一、概述 1、ThreadPoolExecutor作为java.util.concurrent包对外提供基础实现，以内部线程池的形式对外提供管理任务执行，线程调度，线程池管理等等服务； 2、Executors方法提供的线程服务，都是通过参数设置来
2016-03-09 14:36:32
870
原创 观察者模式
1. 概述 有时被称作发布/订阅模式，观察者模式定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时，会通知所有观察者对象，使它们能够自动更新自己。2. 解决的问题 将一个系统分割成一个一些类相互协作的类有一个不好的副作用，那就是需要维护相关对象间的一致性。我们不希望为了维持一致性而使各类紧密耦合，这样会给维护、扩展和重用都带
2016-02-04 14:48:00
496
转载 Runnable或Callable的比较
编写多线程程序是为了实现多任务的并发执行，从而能够更好地与用户交互。一般有三种方法，Thread,Runnable,Callable.Runnable和Callable的区别是，(1)Callable规定的方法是call(),Runnable规定的方法是run().(2)Callable的任务执行后可返回值，而Runnable的任务是不能返回值得(3)call方法可以抛出异常，
2016-02-04 13:33:06
662
转载 Reactor构架模式
对每一个构架模式的分析，我们都使用参考文献的分析风格，着重分析意图、上下文、问题、解决方案、结构和实现 6个方面的内容。而实现就是ACE源代码。1. 意图在事件驱动的应用中，将一个或多个客户的服务请求分离（demultiplex）和调度（dispatch）给应用程序。2. 上下文在事件驱动的应用中，同步地、有序地处理同时接收的多个服务请求。3. 问题
2016-02-02 21:16:48
503
转载 Hadoop2分布式及NN和RM实现HA的实验
本文转自：http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/?utm_source=tuicool&utm_medium=referral[一]、 引言在Hadoop2.x初期的时候写过一篇 hadoop 2.2.0 集群模式安装配置和测试，记录了分布式搭建的最基本的搭建步骤和运行演示，那篇文
2016-01-21 16:53:40
1096
转载 Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装
本文转自：http://blog.youkuaiyun.com/onepiecehuiyu/article/details/45271493安装hadoop2.6+HA1.准备一台CentOS6.4系统2.环境CentOS6.4 共5台机器名 ip地址 安装软件 运行进程 master1 192.168.3.141 hadoop、Zookeeper、hbase
2016-01-21 16:04:12
924
转载 Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
Hadoop 2.0 HA架构图：FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。
2016-01-21 15:40:37
873
转载 linux /etc/security/limits.conf的相关说明
linux limits.conf 配置 limits.conf 文件实际是 Linux PAM（插入式认证模块，Pluggable Authentication Modules）中 pam_limits.so 的配置文件，而且只针对于单个会话。limits.conf的格式如下：username|@groupname type resource limitusername|
2016-01-19 14:47:08
850
转载 hadoop三个配置文件的参数含义说明
该文档转自：http://blog.youkuaiyun.com/yangjl38/article/details/75833741 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个had
2016-01-19 14:32:31
618
转载 hadoop HA配置文件说明
HA集群需要使用nameservice ID区分一个HDFS集群。另外，HA中还要使用一个词，叫做NameNode ID。同一个集群中的不同NameNode，使用不同的NameNode ID区分。为了支持所有NameNode使用相同的配置文件，因此在配置参数中，需要把“nameservice ID”作为NameNode ID的前缀。 HA配置内容是在文件hdfs-site.xml中
2016-01-19 12:17:11
1544
转载 Google Protocol Buffers 入门
1. 前言这篇入门教程是基于Java语言的，这篇文章我们将会：创建一个.proto文件，在其内定义一些PB message使用PB编译器使用PB Java API 读写数据这篇文章仅是入门手册，如果想深入学习及了解，可以参看： Protocol Buffer Language Guide, Java API Reference, Java Generated Code
2015-12-30 16:50:31
561
原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
错误如下：[DefaultQuartzScheduler_Worker-5] ERROR org.apache.hadoop.util.Shell - Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\w
2015-12-30 16:44:30
1337
原创 com.google.protobuf.InvalidProtocolBufferException: Message missing required fields: callId, status
造成以下的错误，是因为使用的hadoop 的java api的版本与集群上的版本不一致造成的，hadoop使用ProtocolBuffer对消息进行序列化，由于版本不同使用的ProtocolBuffer也是不同的，所以在反序列化的时候出现了错误。1620784 [DefaultQuartzScheduler_Worker-0] INFO org.apache.hadoop.yarn.service
2015-12-30 16:35:31
11165
原创 hadoop 使用HA后java api连接获取 FileSystem
所需要配置的参数： Configuration conf = newConfiguration(); conf.set("fs.defaultFS","hdfs://hadoop2cluster"); conf.set("dfs.nameservices","hadoop2cluster"); conf.set("dfs.ha.name
2015-12-25 17:18:11
3494
转载 NameNode HA配置详解
HDFS 集群中NameNode 存在单点故障（SPOF ）。对于只有一个NameNode 的集群，如果NameNode 机器出现意外downtime，那么整个集群将无法使用，直到NameNode 重新启动。HDFS 的HA 功能通过配置Active/Standby 两个NameNodes 实现在集群中对NameNode 的热备来解决上述问题。如果出现Active NN的downtime，就会切换
2015-12-25 15:54:41
2931
原创 tomcat启动java.lang.UnsupportedClassVersionError
检查一下tomcat使用的jvm版本与java编译使用的版本是否一致。 linux下查看tomcat和jdk版本号的命令： 这个需要进入到bin目录下面 [root@localhost bin]# ./version.sh
2015-12-24 14:29:18
1101
原创 格式化HDFS
在HDFS的namenode启动之前，需要初始化它存储数据的目录。namenode服务将会追踪文件系统中的所有元数据。用于格式化的进程将会使用hdfs-site.xml中定义的dfs.namenode.name.dir的值。
2015-12-23 21:51:05
1154
原创 yarn 配置文件讲解
配置core-site.xml fs.default.name:它为namenode指定主机名和请求端口号 hadoop.http.staticuser.user:它指定了hdfs的默认用户名。配置hdfs-site.xml 配置mapred-site.xml mapreduce.framework.name:为Map
2015-12-23 21:39:04
3825
转载 yarn 中的名词介绍
ResourceManager简称“RM”。MRv2最基本的设计思想是将JobTracker的两个主要功能，即资源管理和作业调度/监控分成两个独立的进程。在该解决方案中包含两个组件：全局的ResourceManager（RM）和与每个应用相关的ApplicationMaster（AM）。这里的“应用”指一个单独的MapReduce作业或者DAG作业。RM和与NodeManager（
2015-12-22 22:18:27
717
原创 ibatis中标签的使用笔记
动态SQL的参数有属性关键字含义如果参数相等于值则查询条件有效。如果参数不等于值则查询条件有效。如果参数大于值则查询条件有效。如果参数等于值则查询条件有效。如果参数小于值则查询条件有效。如下所示：AD
2015-12-21 11:20:48
2685
转载 Quartz介绍 使用说明
概述各种企业应用几乎都会碰到任务调度的需求，就拿论坛来说：每隔半个小时生成精华文章的RSS文件，每天凌晨统计论坛用户的积分排名，每隔30分钟执行锁定用户解锁任务。对于一个典型的MIS系统来说，在每月1号凌晨统计上个月各部门的业务数据生成月报表，每半个小时查询用户是否已经有快到期的待处理业务……，这样的例子俯拾皆是，不胜枚举。任务调度本身涉及到多线程并发、运行时间规则制定和解
2015-12-15 17:01:36
513
转载 Acegi Security -- Spring下最优秀的安全系统
二 Acegi安全系统的配置 Acegi 的配置看起来非常复杂,但事实上在实际项目的安全应用中我们并不需要那么多功能,清楚的了解Acegi配置中各项的功能，有助于我们灵活的运用Acegi于实践中。2.1 在Web.xml中的配置1) FilterToBeanProxyAcegi通过实现了Filter接口的 FilterToBeanProxy提供一种特殊的使用Serv
2015-12-15 14:31:26
2262
原创 hadoop 负载均衡
hadoop 将MR的输入数据划分成等长的小数据块，称为输入分片，hadoop为每个分片构建一个map任务。拥有许多分片，意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。因此，如果我们并行处理每个分片，切每个分片数据比较小，那么整个处理过程将获得更好的负载均衡，因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多，且成一定的比例。即使使用相同的机器，处理失败的作业或其他同时运
2015-12-13 16:23:35
878
转载 java 类加载器
1.类的加载粗略过程 JVM将类加载过程分为三个步骤：装载（Load），链接（Link）和初始化(Initialize)链接又分为三个步骤：1) 装载：查找并加载类的二进制数据；2)链接：验证：确保被加载类的正确性；准备：为类的静态变量分配内存，并将其初始化为默认值；解析：把类中的符号引用转换为直接引用；3)初始化：为类的静态
2015-10-02 13:14:39
428
转载 java 反射方式访问私有属性和方法
一 Field[] fileds = catClass.getDeclaredFields(); //得到catClass类所有的属性（包括私有属性）二 field.setAccessible(true); // 该方法表示取消java语言访问检查 三 field.set(target , "ysq"); //为属性赋值 （如果没
2015-09-28 19:54:25
521
转载 Nginx 负载均衡配置和策略
Nginx 的 HttpUpstreamModule 提供对后端（backend）服务器的简单负载均衡。一个最简单的 upstream 写法如下：upstream backend { server backend1.example.com; server backend2.example.com; server.backend3.example.com;}serv
2015-09-24 20:30:49
363
转载 Java垃圾回收机制
说到垃圾回收（Garbage Collection，GC），很多人就会自然而然地把它和Java联系起来。在Java中，程序员不需要去关心内存动态分配和垃圾回收的问题，这一切都交给了JVM来处理。顾名思义，垃圾回收就是释放垃圾占用的空间，那么在Java中，什么样的对象会被认定为“垃圾”？那么当一些对象被确定为垃圾之后，采用什么样的策略来进行回收（释放空间）？在目前的商业虚拟机中，有哪些典型的垃圾收集
2015-09-24 20:20:49
491
转载 单例模式
从形式上来看，Singleton Pattern是所有模式中最简单的一种，但是细究起来并不像想象中那么简单。 Singleton的实现有多种方式（见下表及文后所附代码示例）。最基本的是第一种实现，这种实现最大的问题就是不支持多线程。《Head First Design Pattern》第五章列举了三种支持多线程的单例模式实现方式（表中第二、三、四种），这三种实现方式在性能上
2015-09-01 22:15:08
396
原创 java编程中的编解码详解
简介： 编码问题一直困扰着开发人员，尤其在java中更加明显，因为java是跨平台语言，不同平台之间编码的切换较多。为什么要编码：由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元———byte来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定为英语，其它语言要能够在计算机中使用必须经过一次翻译，把它翻译
2015-06-04 22:05:11
677
原创 Servlet基础学习指导
一、Servlet概述1.sun公司提供的动态web资源开发技术。本质是上一段java小程序，要求这个小程序必须实现Servlet接口，以便服务器能够调用。2.开发Servlet的两个步骤*实验：Servlet的快速入门（1）步骤一：写一个java程序实现Servlet接口（此处直接继承了默认实现类GenericServlet）package cn.itheima;impo
2015-05-28 22:42:07
646
原创 HTTP的简单讲解
一、HTTP协议概述规定了客户端和服务器端如何通信的协议。基于TCP/IP的一套应用层的协议。分为请求和响应两部分。特点：基于请求响应模型一次请求对应一次响应请求只能由客户端发出，服务器端被动等待请求做出响应。HTTP协议目前为止有两个版本：HTTP1.0HTTP1.1区别是，1.1可以复用底层流，1.0不行二、HTTP请求一个HTT
2015-05-28 22:40:25
464
原创 tomcat 安装与配置
一、TOMCAT的安装http://tomcat.apache.org/ 有解压版 和 安装版 还分windows 和 linux版，选择自己想要的版本下载tomcat5 jdk4以上tomcat6 jdk5以上tomcat7 jdk6以上tomcat8 jdk7以上解压tomcat到指定的目录，目录名称不能包含中文和空格配置环境变量 JAVA_HO
2015-05-28 22:37:50
527
原创 范型的定义与使用的示例
import org.junit.Test;public class TestCase { /** * 范型：利用编译器实现的参数化类型，优点可以利用编译器检查限制数据类型，减少软件在运行期的错误！ * 可以减少数据类型的转换麻烦。 * 范型是利用编译器实现的（假范型），在运行期间没有范型检查,利用编译器擦除实现的。 */ @Test public void te
2015-05-20 22:27:00
654
原创 java 注解的使用
自定义注解：自定义注解在编译期间，会自动擦除成接口类型，自定义数据 可以使用元注解声明。 元注解声明：作用范围和作用位置 Retention 用于声明 当前注解的作用范围 RUNTIME 注解在编译时候不擦除，编译到类，运行时候加载到方法区
2015-05-20 22:05:41
403
原创 枚举（enum）的使用
自定义一个类，并且类的对象的个数需要受到限制,可以将自定义类中的构造方法修饰为private，并且在该类中定义该类的所有对象。如下代码： public class Suit implements Serializable, Comparable{ private String name; private int value; public static final Suit
2015-05-20 21:55:12
529
原创 java 中xml的使用
XML 可扩展的标记语言 XML 通用的数据格式标准 在没有XML标准时代 1 数据可以任意格式存储：二进制，文本格式 2 数据的交换和分享出现麻烦 XML 是一种通用的标准格式 1 XML 数据格式标准 2 可以用于文件的格式：XML 格式的文件称为XML 文件 3 XML文件本身是文本文件，非常便于编辑和处理
2015-05-19 22:30:46
972
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人