maclaren001-优快云博客

原创 Netty学习（三）- Unsafe

目录1.概览1.1 介绍2. 分析2.1 Unsafe接口2.2 Unsafe接口实现类2.2.1 AbstractUnsafe2.2.2 AbstractEpollUnsafe2.2.3EpollServerSocketUnsafe1.概览1.1 介绍官方解释Unsafeoperations that shouldneverbe c...

2019-06-15 18:02:58 656

原创 Netty学习（二）- EventLoop

目录1.概览1.1 EventLoop接口1.1.1 EventLoop类图1.2 EventLoop接口实现类1.2.1 SingleThreadEventLoop1.概览1.1 EventLoop接口1.1.1 EventLoop类图EventLoop类图1.2 EventLoop接口实现类通过继承关系图可以看出，EventLoop接口有Abs...

2019-06-15 18:02:39 812

原创 Netty学习（一）-引导类

ServerBootstrap和Bootstrap学习

2019-06-15 10:35:12 248

转载 Scala范型

转自：http://www.cnblogs.com/czh-liyu/p/4694395.html899100101102103104package com.parllay.scala.type_parameterizitor /*** Created by richard on 15-7-30.* 第46讲： ClassTag 、Manifest、ClasMainife

2017-04-29 11:53:55 383

转载 Scala范型

package myscala.scalaexercises.classtagimport org.apache.hadoop.mapred.InputFormatimport org.apache.spark.rdd.RDDimport scala.reflect.ClassTag/** * A `ClassTag[T]` stores the erased class of a g

2017-04-29 11:52:32 474

原创 Scala下划线作用

1、作为“通配符”，类似Java中的*。如import scala.math._2、:_*作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶数，并乘以2，可以用以下办法：a.filter(_%2==0).map(2*_)。又

2017-04-29 10:43:03 430

原创 Oozie安装

安装Oozie的过程真的是一把血泪史，太TM反人类了，过程无比艰辛，感觉和Tez的安装一样，过程繁杂且问题频出。环境：CentOS6.5 * 3ZooKeeper 3.4.5-cdh5.7.1Hadoop 2.6.0-cdh5.7.1Oozie oozie-4.1.0-cdh5.7.11.下载oozie-4.1.0-cdh5.7.1.tar.gz这个包非常大，有

2017-04-07 01:01:12 1210

转载 mysql悲观锁总结和实践

最近学习了一下数据库的悲观锁和乐观锁，根据自己的理解和网上参考资料总结如下：悲观锁介绍（百科）：悲观锁，正如其名，它指的是对数据被外界（包括本系统当前的其他事务，以及来自外部系统的事务处理）修改持保守态度，因此，在整个数据处理过程中，将数据处于锁定状态。悲观锁的实现，往往依靠数据库提供的锁机制（也只有数据库层提供的锁机制才能真正保证数据访问的排他性，否则，即使在本系统中实

2017-03-18 23:15:20 276

转载 mysql乐观锁总结和实践

上一篇文章《MySQL悲观锁总结和实践》谈到了MySQL悲观锁，但是悲观锁并不是适用于任何场景，它也有它存在的一些不足，因为悲观锁大多数情况下依靠数据库的锁机制实现，以保证操作最大程度的独占性。如果加锁的时间过长，其他用户长时间无法访问，影响了程序的并发访问性，同时这样对数据库性能开销影响也很大，特别是对长事务而言，这样的开销往往无法承受。所以与悲观锁相对的，我们有了乐观锁，具体参见下面介绍：

2017-03-18 23:13:41 271

原创 HBase源码走读-(1)HMaster启动过程

前记断断续续使用HBase有2，3年的时间了，由于都是工作驱动，需要用到的时候才重新拿起来，过段时间又忘了差不多了，连最基本的只是还需要度娘和谷歌，感觉挺失败的，和当初希望成为大数据方面的专家背道而驰，越走越远。正好刚离职，有这个闲工夫，想了下还是需要有东西沉淀下来，不然对知识掌握上使用游击战是不行的，还是需要系统的整理这些知识点，一来可以查缺补漏，二来可以将脑中的知识片段捋一捋，更深刻，

2017-02-26 20:11:33 1619

转载常见查找算法Java实现

转自http://yintech.iteye.com/blog/424997线性查找法public class LSearch{ public static int[] Data = { 12, 76, 29, 22, 15, 62, 29, 58, 35, 67, 58, 33, 28, 89, 90, 28, 64, 48, 20, 77 }; // 输入数据数组 pu

2015-03-19 23:09:29 703

转载各种排序算法的分析及java实现

转自http://www.cnblogs.com/liuling/p/2013-7-24-01.html排序一直以来都是让我很头疼的事，以前上《数据结构》打酱油去了，整个学期下来才勉强能写出个冒泡排序。由于下半年要准备工作了，也知道排序算法的重要性（据说是面试必问的知识点），所以又花了点时间重新研究了一下。　　排序大的分类可以分为两种：内排序和外排序。在排序过程中，全部

2015-03-18 22:32:40 579

原创 MapReduce两个数据源关联

平时开发的时候会遇到很多需要将HDFS上多个数据源的某个字段做为关联字段，得出多个数据源的笛卡儿积。了解了MapReduce多数据源关联的基本思路后就很简单。基本思路：在Map输入阶段获取输入路径，在Map输出阶段根据路径的不同加以区分，即在将关联的列作为Key,在Value中加以区分是哪个数据源的数据，接着在Reduce的输入阶段，在reduce方法的入参会得到所有Key相同的集合，这样便可

2015-03-07 12:25:42 2713

原创 MapReduce跑数导入HBase

日常开发中可能会碰到需要编写MapReduce从HDFS上读取数据，然后导入HBase。一般会使用到两种方式，下面分别介绍下。第一种方式：指定OutputFormatClass为TableOutputFormat，构造Put对象，然后设置到OutputValueClass去。 Configuration conf = ConfSource.getHBaseConf();

2015-03-07 11:53:13 786

转载十道海量数据处理面试题

转自 http://www.tuicool.com/articles/6FJfAr第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每

2015-03-07 11:29:15 346

转载多线程面试题

转自http://blog.youkuaiyun.com/dongwujing/article/details/76478580.Java 中多线程同步是什么？在多线程程序下，同步能控制对共享资源的访问。如果没有同步，当一个 Java 线程在修改一个共享变量时，另外一个线程正在使用或者更新同一个变量，这样容易导致程序出现错误的结果。 1.解释实现多线程的几种方法?

2015-03-04 10:46:43 344

转载 JDK5.0中JVM堆模型、GC垃圾收集详细解析

转自http://blog.youkuaiyun.com/jollyant/article/details/5647141前段时间在一个项目的性能测试中又发生了一次OOM（Out of swap sapce），情形和以前网店版的那次差不多，比上次更奇怪的是，此次搞了几天之后啥都没调整系统就自动好了，死活没法再重现之前的OOM了！问题虽然蹊跷，但也趁此机会再次对JVM堆模型、GC垃圾算法等进行了一

2015-03-04 10:19:20 542

转载详解Java GC的工作原理+Minor GC、FullGC

JVM内存管理和JVM垃圾回收JVM内存组成结构JVM内存结构由堆、栈、本地方法栈、方法区等部分组成，结构图如下所示：1)堆所有通过new创建的对象的内存都在堆中分配，其大小可以通过-Xmx和-Xms来控制。堆被划分为新生代和旧生代，新生代又被进一步划分为Eden和Survivor区，最后Survivor由FromSpace和ToSpace组

2015-03-04 09:59:55 851

转载 JVM面试题

出处:http://www.blogjava.net/BlueDavy/archive/2009/03/27/262419.html JVM是Java程序的运行环境，因此对于JVM的掌握有助于理解Java程序的执行以及编写，尤其是运行时碰到的一些诡异问题，那么怎么样能考察自己对于JVM关键知识点的掌握情况，帮助学习JVM机制呢，在这篇blog中来探讨下。对于Java程序而言，J

2015-03-04 09:56:02 995

转载 JVM优化

转自http://www.jfox.info/JVM-you-hua-wen-tiJVM堆内存分为2块：Permanent Space 和 Heap Space。 Permanent 即持久代（Permanent Generation），主要存放的是Java类定义信息，与垃圾收集器要收集的Java对象关系不大。 Heap = { Old + NEW = {Eden

2015-03-04 00:33:51 418

原创 JVM中OOM和SOF的产生

学习《深入理解Java虚拟机 JVM高级特性域最佳实践》，学习到了JVM中常见的OutOfMemory和StackOverFlow产生的机理，感觉非常有用。1.平时代码运行时遇到这两种错误后就可以根据具体情况去适时地调整JVM参数来处理问题2.平时写代码的时候也会多加注意，不要让代码产生这两种异常下面就记录下，当作学习笔记。首先必须了解JVM运行时数据区域方法区用

2015-03-04 00:09:34 5819

原创 Eclipse使用Jad查看class文件

1.下载jad.exe2.下载net.sf.jadclipse_*.jar，即jad的eclipse插件，需要注意对应eclipse的版本号，jar需要和eclipse对应的版本号。将改jar包放入{ECLIPSE_HOME}/plugins目录下，重启Eclipse3.eclipse Jad路径设置。Window->Preferences->Java->JadEclipse。"Path

2015-02-07 17:14:05 1315

项目需要上传第三方jar包，非得使用Nexus私服不可，于是开始搭建Nexus私服。搭建过程并不顺利，公司使用的是一台PC作为Nexus服务器，操作系统是CentOS。目前还是有问题，不能从中央仓库下载jar，在网上搜索了很久，下载一个几百兆的索引文件和一个nexus-maven-repository-index.properties文件放到sonatype-work/nexus/indexer/

2014-12-12 22:43:14 550

转载 Redis安装配置

转自 1 概要Redis服务器环境的安装。指导系统部署和维护使用，以64位Linux环境下安装使用2 缩略语和术语缩略语/术语全称说明append only file(aof)全持久化模式 Redis解压目录

2014-11-15 08:56:56 681

转载 linux环境变量设置

方法一：在/etc/profile文件中添加变量【对所有用户生效（永久的）】用VI在文件/etc/profile文件中增加变量，该变量将会对Linux下所有用户有效，并且是“永久的”。要让刚才的修改马上生效，需要执行以下代码 # source /etc/profile 方法二：在用户目录下的.bash_profile文件中增加变量【对单一用户生效

2014-10-23 20:22:50 452

转载 JAR打包命令详解

转自转自：Matrix-与Java共舞常常在网上看到有人询问：如何把 java 程序编译成 .exe 文件。通常回答只有两种，一种是说，制作一个可执行的 JAR 文件包，就可以像.chm 文档一样双击运行了；而另一种回答，则是使用 JET 来进行编译。但是 JET 是要用钱买的，而且，据说 JET 也不是能把所有的 Java 程序都编译成执行文件，性能也要打些折扣。所以，使用制作可执行

2014-10-23 09:37:59 427

原创 Struts2源码学习笔记（一）

Struts2的入口类是StrutsPrepareAndExecuteFilter.java

2014-10-08 23:48:35 521

原创 RMI学习笔记

RMI（Remote Method Invocation，远程方法调用）是用Java在JDK1.1中实现的，它大大增强了Java开发分布式应用的能力。Java作为一种风靡一时的网络开发语言，其巨大的威力就体现在它强大的开发分布式网络应用的能力上，而RMI就是开发百分之百纯Java的网络分布式应用系统的核心解决方案之一。其实它可以被看作是RPC的Java版本。但是传统RPC并不能很好地应用于分布式对

2014-10-08 23:13:19 408

转载 Java 中InputStream与Reader的区别

java.io下面有两个抽象类：InputStream和ReaderInputStream是表示字节输入流的所有类的超类Reader是用于读取字符流的抽象类InputStream提供的是字节流的读取，而非文本读取，这是和Reader类的根本区别。即用Reader读取出来的是char数组或者String ，使用InputStream读取出来的是byte数组。弄清了两个超类的根本区

2014-10-04 14:17:28 459

转载自定义事件机制

转自http://blog.youkuaiyun.com/xiaolang85/article/details/5316859

2014-07-19 09:58:07 584

转载 InitializingBean的作用

最近工作需要得到sping中的每个事物需要执行的sql，称机会简单研究了一下spring的事务，项目中管理事务比较简单，用TransactionTemplate，就直接以TransactionTemplate为入口开始学习。TransactionTemplate的源码如下：public class TransactionTemplate extends DefaultTransaction

2014-07-05 10:56:44 42298 7

转载 java泛型

转自 http://www.cnblogs.com/panjun-Donet/archive/2008/09/27/1300609.html

2014-06-06 22:29:04 421

转载 java正则表达式

转自 http://blog.youkuaiyun.com/kdnuggets/article/details/2526588

2014-05-18 09:33:38 635

转载 Eclipse快捷方式

Eclipse本身很快的，但是加上了myeclipse后，就狂占内存，而且速度狂慢，那如何让Eclipse拖着myeclipse狂飚呢?这里提供一个：技巧：取消自动validation validation有一堆，什么xml、jsp、jsf、js等等，我们没有必要全部都去自动校验一下，只是需要的时候才会手工校验一下，速度立马提升好几个档次！取消方法： windows-->perf

2014-05-17 20:44:39 407

原创 Tomcat内存配置

1.设置内存大小1）在catalina.bat配置(注意配置在最开始的地方)set JAVA_OPTS='-Xms256m -Xmx512m'2）在catalina.sh配置JAVA_OPTS='-Xms256m -Xmx512m'3)在eclipse配置-Xms256m -Xmx512m -XX:PermSize=512m -XX:MaxPermSize=512m

2014-05-10 21:23:55 477

原创 Tomcat源码学习

一、1.StringManager.java类中用到了jdk的类ResourceBundle。这个类的作用是国际化，使用方法ResourceBundle bundle = new ResourceBundle(baseName);bundle.getString("key");其中baseName就是包的路径下的properties文件，例如com.maclaren.bun

2014-05-10 21:20:50 516

原创 MapReduce编程

运行mapreduce方式：1.在eclipse运行2.在命令行下mkdir firstDirjavac -classpath ~/hadoop/hadoop-0.20.2-core.jar -d firstDir WordCount.javajar -cvf WordCount.jar -C firstDir/sh hadoop dfs -mkdir inputsh

2014-05-10 21:11:54 489

原创 Hadoop开发

命令行下-conf用于指定配置文件例如hadoop fs -conf conf/hadoop-cluster.xml -ls1.hadoop自带工具支持-conf选项2.直接在程序中实现Tool接口支持-conf选项Tool接口只有一个抽象方法run(),而Tool接口又继承Configurable接口，Configurable接口有setConf()抽象方法和一个抽象

2014-05-10 21:00:31 570

转载泛型

转自 http://peiquan.blog.51cto.com/7518552/1302898

2014-05-10 18:31:38 439

原创 Lucence学习笔记

《Lucence in Action》学习笔记1.索引和搜索创建索引public class Indexer { if (args.length != 2) { throw new Exception("Usage: java " + Indexer) }}===============================2B的分割线===========

2014-05-10 12:13:14 609

nicEdit源代码

非常轻量级的所见即所得web编辑器，只有一个js文件和一个图片文件

2014-08-08

struts2源码

struts2源代码及API帮助文档。作为Java Web开发者，成天和SSH打交道，只知其一而不知其二，水平始终停留在初级水平，这就不要抱怨工资低，要更多的收获就需要背后更多的付出，跟读框架源码是进阶的一个很好的途径。跟读struts2源码的时候注意两条主线：一条是初始化；另外一条是监听http请求。学习初始化过程是如何获取配置构造容器，其中的巧妙构思和设计模式的运用非常值得学习。

2014-05-07

window builder 插件

window builder插件，非常好用，所见即所得，在组件面板上拖动所需插件按照自己的布局放置即可，然后添加相应的事件处理器即可完成自己的RCP

2013-12-25

hadoop in action 2th edition 中文版

hadoop in action第二版中文版

2013-11-06

fiddler2和.netframework2安装包集合

fiddler2和.netframework2安装包集合。fidder是用c#写的，必须安装.netframework，这里已一起提供，希望对有需要的童鞋有用

2013-10-27

tomcat6源代码 eclipse导出工程

tomcat6源代码从eclipse导出的工程，可以直接导入eclipse

2013-07-22

twitter flight

TwitterFlight是基于事件的框架，可用于为现有DOM结构添加功能。Flight既不用于建模数据，也不用于HTML渲染，它不处理请求路由和页面模版，也不处理浏览器或服务器端的渲染。相反，它是一款高度解耦和的组件框架，这些组件连接到DOM节点，当在节点上调用事件时，可以提供预期的功能。

2013-03-11

cmemcache-0.95.tar

CMemCache实现了一个基于memcached的缓存应用程序组件。 CMemCache可以配置Memcache服务器的列表，通过设置它的服务器属性。默认情况下，CMemCache假设有一个memcache服务器运行在localhost端口11211。见CCACHE对于常用的缓存操作，支持CMemCache的手册。请注意，有没有在memcache措施，以保护数据的安全性。在memcache中的所有数据都可以访问系统中运行的任何进程。

2013-01-18

memcached-1.4.15.tar

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

2013-01-18