wxy_fighting-优快云博客

原创 Maven正确集成命令

集成命令总结：不要忘了clean： clean能够保证上一次构建的输出不会影响到本次构建。使用deploy而不是install：构建的SNAPSHOT输出应当被自动部署到私有Maven仓库供他人使用，这一点在前面已经详细论述。使用-U参数：该参数能强制让Maven检查所有SNAPSHOT依赖更新，确保集成基于最新的状态，如果没有该参数，Maven默认以天

2015-02-10 00:05:04 1153

转载使用java对文件或文件夹进行压缩和加密

转：http://hao0610.iteye.com/blog/1181674使用Java对文件或文件夹的压缩, 解压, 加密和解密. 加解密类型使用的是AES. 使用zip对文件或文件夹进行压缩, 解压缩: Java代码 import java.io.File; import java.io.FileInputStream; import

2015-01-05 15:32:33 1276

转载大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章：1.一个好的项目架构应该具备什么特点？2.本项目架构是如何保证数据准确性的？3

2014-12-04 12:35:22 1428

转载分布式发布订阅消息系统 Kafka 架构设计

我们为什么要搭建该系统Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司作为多种类型的数据管道（data pipeline）和消息系统使用。活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括页面访问量（

2014-12-04 09:58:09 1291

转载几种线程池的实现算法分析

1. 前言在阅读研究线程池的源码之前，一直感觉线程池是一个框架中最高深的技术。研究后才发现，线程池的实现是如此精巧。本文从技术角度分析了线程池的本质原理和组成，同时分析了JDK、Jetty6、Jetty8、Tomcat的源码实现，对于想了解线程池本质、更好的使用线程池或者定制实现自己的线程池的业务场景具有一定指导意义。2. 使用线程池的意义复用：类似WEB服务器等系统，

2014-08-02 20:18:19 861

转载 JVM中可生成的最大Thread数量

最近想测试下Openfire下的最大并发数，需要开大量线程来模拟客户端。对于一个JVM实例到底能开多少个线程一直心存疑惑，所以打算实际测试下，简单google了把，找到影响线程数量的因素有下面几个： -Xmsintial java heap size-Xmxmaximum java heap size-Xs

2014-08-02 11:19:45 826

转载 Apache Kafka：下一代分布式消息系统

简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自

2014-06-13 12:18:03 1403

转载 OWASP发布构建安全Web应用的十大控制措施

Open Web Application Security Project（OWASP）是世界范围内的非盈利组织，关注于提高软件系统的安全性。它们的使命是使应用软件更加安全，使企业和组织能够对应用安全风险作出更清晰的决策。OWASP发布的十大安全风险整理总结了Web应用开发中常见的漏洞，可以用来探查和分析应用的安全问题。不过，仅仅指出问题往往是不够的，开发人员是应用的基础，为了开发出安全的

2014-06-13 11:58:44 1509

转载 Netty系列之Netty高性能之道

1. 背景1.1. 惊人的性能数据最近一个圈内朋友通过私信告诉我，通过使用Netty4 + Thrift压缩二进制编解码技术，他们实现了10W TPS（1K的复杂POJO对象）的跨节点远程服务调用。相比于传统基于Java序列化+BIO（同步阻塞IO）的通信框架，性能提升了8倍多。事实上，我对这个数据并不感到惊讶，根据我5年多的NIO编程经验，通过选择合适的NIO框架，加上高

2014-06-03 11:13:07 1440

转载 Tomcat内存设置详解

Java内存溢出详解一、常见的Java内存溢出有以下三种： 1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap（堆）溢出JVM在启动的时候会自动设置JVM Heap的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)不可超过物理内存。可以利用JVM提供的-Xmn -

2014-04-01 17:41:28 719

转载 spring线程池ThreadPoolExecutor配置并且得到任务执行的结果

用ThreadPoolExecutor的时候，又想知道被执行的任务的执行情况，这时就可以用FutureTask。ThreadPoolTask01package com.zuidaima.threadpool;02 03import java.io.Seri

2014-03-18 09:39:06 2947

转载 jstack(查看线程)、jmap(查看内存)和jstat(性能分析)命令

周末看到一个用jstack查看死锁的例子。昨天晚上总结了一下jstack(查看线程)、jmap(查看内存)和jstat(性能分析)命令。供大家参考 1．Jstack 1.1 jstack能得到运行java程序的java stack和native stack的信息。可以轻松得知当前线程的运行情况。如下图所示注：这个和thread dump是同样的结果。但是thread d

2014-03-13 12:37:46 10864

转载 shell脚本----cp (copy)复制文件或目录

在linux中怎样用命令完全拷贝一个目录下的所有文件（包括隐藏文件以及文件夹）到另外一个目录下，并且使得被复制的所有文件的属性等完全保持不变？注意，连原来的文件夹中所有的文件的属性、链接等都不能更改。也就是说，要建立原来文件夹的一份一模一样的拷贝！&n在linux中怎样用命令完全拷贝一个目录下的所有文件（包括隐藏文件以及文件夹）到另外一个目录下，并且使得被复制的所有文件的属性等完全保持不

2014-03-07 10:52:30 3495

转载统一资源管理与调度平台（系统）介绍

1. 背景随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，…，各种框架诞生于不同的公司或者实验室，它们各有所长，各自解决了某一类应用问题。而在大部分互联网公司中，这几种框架可能都会采用，比如对于搜索引擎公司，可能的技术方案如下：网页建索引采用MapReduce框架，自然

2014-01-29 17:56:14 1649

转载分布式服务框架 Zookeeper -- 管理分布式环境中的数据

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的典型的应用场景（配置文件的管理、集群管理、同步锁、Leader 选举、队列管

2014-01-16 10:49:18 753

转载深入浅出Java并发包—锁(Lock)VS同步(synchronized)

今天我们来探讨一下Java中的锁机制。前面我们提到，在JDK1.5之前只能通过synchronized关键字来实现同步，这个前面我们已经提到是属于独占锁，性能并不高，因此JDK1.5之后开始借助JNI实现了一套高效的锁实现！JDK5以后锁的接口是JUC中的Lock，我们来先看一下他的相关API文档。方法摘要 voi

2013-12-27 18:48:50 3657

转载 Quartz 基本概念及原理

Quartz 基本概念及原理Quartz Scheduler 开源框架Quartz 是 OpenSymphony 开源组织在任务调度领域的一个开源项目，完全基于 Java 实现。该项目于 2009 年被 Terracotta 收购，目前是 Terracotta 旗下的一个项目。读者可以到 http://www.quartz-scheduler.org/站点下载 Quartz 的

2013-11-12 18:24:30 1723

原创 eclipse无法编译rt.jar某些类问题

最近在写一些代码的时候发现如果引用了rt.jar中的某些包例如：import com.sun.net.httpserver.Headers;import com.sun.net.httpserver.HttpHandler;出现错误提示为：Access restriction: The type BASE64Decoder is not accessible d

2013-10-16 13:52:53 1948

原创 Eclipse导出可执行JAR文件的方法

Eclipse导出可执行JAR文件的方法： 1.双击生成的JAR文件(或者以压缩文件的形式打开)；　　2.双击META-INF文件夹；　　3.将MANIFEST.MF文件内容改成：　　Manifest-Version: 1.0　　Main-Class: com.metarnet.probe.Main　　Class-Path: lib/sig

2013-10-14 16:01:53 1305

转载老码农：关于需求分析的几点体会

在我前面写的一篇博文《如何写出让自己满意的代码》中，有读者在评论中提到了用户需求不确定导致在总体设计阶段总是无的放矢的问题。需求分析当然是非常重要的，甚至在某些情况下比总体设计还更重要。那么，如何理解需求分析呢？Google一下关键字“需求分析”，网上已经有很多相关的文章了，有不少已经写得像教科书一样全面准确，还提供了一些最佳实践的分类方法。我这篇就从个人经验方面谈一点自己的体会好了。

2013-10-12 19:34:32 1023

转载历届中国大数据技术大会PPT精粹

【优快云报道】Hadoop起源于2002年的Apache Nutch项目，是Apache Lucene的子项目之一。2004年，Google在OSDI上公开发表了题为《MapReduce: Simplified Data Processing on Large Clusters》的论文，受到启发的Doug Cutting等人开始实现MapReduce计算框架并与NDFS（Nutch Distri

2013-10-12 19:21:59 2742

原创 cxf jdk1.5 jboss 冲突

错误:Exception in thread "Main Thread" java.lang.LinkageError: JAXB 2.1 API is being loaded from the bootstrap classloader, but this RI (from jar:file:/D:/Work/aspire/lib/jaxb-impl-2.2.1.1.jar!/com/su

2013-09-13 17:49:42 1694

原创 grep一个文件时，报错“Binary file ... matches”

问题：grep一个文件时，报错“Binary file ... matches”使用命令 more时，内容可以正常看到原因：文件为binary文件解决：strings vers.log.2010-03-09 | grep -i ‘mezimedia’或者 grep -a -i ‘mezimedia’ vers.log.2010-03-09grep命令是linux

2013-09-09 09:52:19 11992

原创 shell命令之解压缩

# tar -cf all.tar *.jpg　　这条命令是将所有.jpg的文件打成一个名为all.tar的包。 -c是表示产生新的包， -f指定包的文件名。　　# tar -rf all.tar *.gif　　这条命令是将所有.gif的文件增加到all.tar的包里面去。 -r是表示增加文件的意思。 # tar -uf all.tar logo

2013-08-08 09:47:56 1570

原创 soapUI Pro 4.5.1的新破解方案

网上可以下到一个破解，原来是针对soapUI Pro 2.5.1的，但实际上对4.5.1同样有效。研究了一下破解后的license4j-1.3.jar与原版license4j-1.3.jar的差别，就是用JD-GUI逆一下，然后用BC比较目录，只有两个文件被修改，一个是MANIFEST.MF，另一个是LicenseManager.java。原作者在LicenseManager.

2013-07-22 15:36:20 4764

原创 mvnDebug的配置项

在maven上debug，经常跟jetty或tomcat插件在一起使用。如运行mvnDebug jetty:run命令后再通过eclipse远程连接调试。 maven的安装目录下存在mvnDebug.bat文件，打开可以看到具体的配置项如下： Java代码 set MAVEN_DEBUG_OPTS=-Xdebug -Xnoagent -Djava.compil

2013-07-22 13:51:37 3178

原创 tomcat 设置DEBUG模式

当你的应用部署在tomcat中，在测试过程中需要进行DEBUG调试，需要在tomcat中修改配置。在tomcat的安装目录下../bin，在startup.bat文件中新增以下参数设置：SET CATALINA_OPTS=-server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,server=y

2013-07-22 13:46:47 2144

转载 CronTrigger的未触发授命学习

CronTrigger的未触发指令MISFIRE_INSTRUCTION_FIRE_ONCE_NOW与默认的MISFIRE_INSTRUCTION_SMART_POLICY指令功能一致，另外还有一种指令.MISFIRE_INSTRUCTION_DO_NOTHING，实例区别如下：MyQuartzJobBean.java: package quartz.example.example5.te

2013-07-19 17:30:34 1748

转载作业调度框架 Quartz 学习笔记(五) -- 错过的任务怎么办?

不知道大家在用Quartz的时候有没有遇到这样一种情况:触发器设定每3秒钟触发一次 ,但是工作需要10秒钟的执行时间.因此，在一次任务结束执行前，触发器已经错失触发当这种情况下我们怎么处理呢,让我们一起学习一下......还是先贴代码:job类:StatefulDumbJob.java[java] view plaincopy

2013-07-19 17:05:34 1338

转载作业调度框架 Quartz 学习笔记(四) -- 接收参数和维护状态

>如果你想在某个job执行的时候传入参数,参数在job执行过程中对参数有所修改,并且在job执行完毕后把参数返回那么你需要学习一下现在的这个例子了,因为它正是你所想要的 ...... 我的建议是先把代码运行起来看结果,然后再去看代码.还是老套路,两个类一个job类:ColorJob.java 一个调度类: JobStateExample.java

2013-07-19 17:04:53 1021

转载作业调度框架 Quartz 学习笔记(三) -- Cron表达式

前面两篇说的是简单的触发器(SimpleTrigger) , SimpleTrigger 只能处理简单的事件出发,如果想灵活的进行任务的触发,就要请出CronTrigger 这个重要人物了. CronTrigger也是Quartz最重要的特色之一，通过Quartz特有的Cron表达式来确定某类时间，能完成类似"2011年11月11号(神棍节,已经过去了)，每个星期三XXX"之

2013-07-19 17:02:55 1325

转载作业调度框架 Quartz 学习笔记(二) -- 简单触发器(SimpleTrigger)

简单回顾一下上一节学习到的 "HelloWorld "1 创建一个job类,实现Job接口,覆盖 public void execute(JobExecutionContext context) 方法,在方法中写入你要执行的操作(数据导入/备份,轮询检查文件等)代码2 创建一个主线程类, 获得 Scheduler 对象 SchedulerFactory sf = ne

2013-07-19 17:02:00 1523

转载作业调度框架 Quartz 学习笔记(一) -- HelloWorld !!!

关于定时任务的操作方法,java语言本身具有 Timer 来解决,但Timer 作用起来不是特别的舒服,由于项目的需要,使用了Quartz 这个调度框架,现把学习过程记录下来,方便以后查阅.本教程是按照Quartz 提供的 15个Example 一步一步深入学习,由于我也是一菜鸟,在学习本教程时,如发现有错误之处,请各位大人指点.小弟不胜感激!附几个连接:Timer 的问题

2013-07-19 17:01:03 1359

转载你所不知道的Quartz特性

很多朋友的博文，講到使用Quartz來進行任務調度，很簡單就是告訴你引用一個jar包，實現一個Job接口，然後schedule起來就OK了，此外講的最多的是CronTrigger的使用。給人的假象是任務調度原來真是如此的簡單。但是作為一個新手，你可知道Job會佔用多少線程？能否滿足自己調度的性能需要呢？Quartz的線程使用看起來很簡單，配置org.quartz.threadPoo

2013-07-19 16:52:44 1623

原创通过 HttpClient 下载文件

引用需要有的Jar; * commons-httpclient-3.1.jar * commons-logging-1.04.jar * commons-codec-1.3.jar Java代码 public class HttpClientTest { private fina

2013-07-10 13:12:49 1013

原创多线程并行下载，断点续传

import java.io.File;import java.io.FileNotFoundException;import java.io.IOException;import java.io.InputStream;import java.io.RandomAccessFile;import java.net.HttpURLConnection;import java.net.U

2013-07-10 13:11:05 1993

原创 CXF-WebService设置超时时间

?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:osgi="http://www.springframework.org/sche

2013-07-09 14:25:49 3339

转载 PO BO VO DTO POJO DAO 概念及其作用（附转换图）

J2EE开发中大量的专业缩略语很是让人迷惑，特别是对于刚毕业的新人来说更是摸不清头脑。若与公司大牛谈技术人家出口就是PO VO BO DTO POJO DAO 等，让新人们无比仰慕大牛。 PO（bean,entity等命名）：persistant object持久对象，数据库表中的记录在java对象中的显示状态最形象的理解就是一个PO就是数据库中的一条记录。好处是

2013-07-06 17:26:19 1074

转载 Java开发中的23种设计模式详解

设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真

2013-07-06 17:21:17 1727