
java
文章平均质量分 73
wodeyuer125
这个作者很懒,什么都没留下…
展开
-
jar包查找相关问题
这个网站可以查询XX类在哪个jar包里:http://www.findjar.com/index.x这个网站查询某个jar包在maven库里的地址怎么写:http://mvnrepository.com/比如查询org.apache.commons.mail在哪个包里原创 2013-10-31 10:55:05 · 755 阅读 · 0 评论 -
java线程安全的理解
如果你的代码所在的进程中有多个线程在同时运行,而这些线程可能会同时运行这段代码。如果每次运行结果和单线程运行的结果是一样的,而且其他的变量的值也和预期的是一样的,就是线程安全的。比如一个 ArrayList 类,在添加一个元素的时候,它可能会有两步来完成:1. 在 Items[Size] 的位置存放此元素;2. 增大 Size 的值。 在单线程运行的情况下,如果 Size = 0,添转载 2013-11-20 15:00:52 · 849 阅读 · 0 评论 -
java导入163联系人
现在在许多SNS中都有导入邮箱联系人的功能,以下的代码功能就是如何取得163邮箱账号的联系人更多的导入联系人代码,可在此处下载:http://code.google.com/p/jcontactfetcher/首先是工具类 1.CommonUtil类,现在只有初始化log4j方法[java] view plaincopypacka转载 2013-11-14 11:58:53 · 1397 阅读 · 0 评论 -
quartz使用教程
1.在官网下载文件http://www.quartz-scheduler.org/现在的版本是2.2 quartz-2.2.0-distribution.tar.gz 2.学习exampleexample1 - Your first Quartz Program[java] view plaincopyprint?转载 2013-11-14 15:22:15 · 1298 阅读 · 0 评论 -
hadoop系列文章
http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html转载 2014-02-26 16:21:34 · 626 阅读 · 0 评论 -
mahout推荐CF
协同过滤 —— Collaborative Filtering协同过滤简单来说就是根据目标用户的行为特征,为他发现一个兴趣相投、拥有共同经验的群体,然后根据群体的喜好来为目标用户过滤可能感兴趣的内容。协同过滤推荐 —— Collaborative Filtering Recommend协同过滤推荐是基于一组喜好相同的用户进行推荐。它是基于这样的一种假设:为一用户找到他真正感兴趣的内转载 2014-02-27 11:42:10 · 781 阅读 · 0 评论 -
mahout相似度算法(二)
在现实中广泛使用的推荐系统一般都是基于协同过滤算法的,这类算法通常都需要计算用户与用户或者项目与项目之间的相似度,对于数据量以及数据类型不同的数据源,需要不同的相似度计算方法来提高推荐性能,在mahout提供了大量用于计算相似度的组件,这些组件分别实现了不同的相似度计算方法。下图用于实现相似度计算的组件之间的关系:图1、项目相似度计算组件图2、用户相似度计算组件转载 2014-02-27 12:20:10 · 1085 阅读 · 0 评论 -
mahout相似度算法(一)
User CF 和 Item CF 都依赖于相似度的计算,因为只有通过衡量用户之间或物品之间的相似度,才能找到用户的“邻居”,才能完成推荐。上文简单的介绍了相似度的计算,但不完全,下面就对常用的相似度计算方法进行详细的介绍:1. 基于皮尔森相关性的相似度 —— Pearson correlation-based similarity皮尔森相关系数反应了两个变量之间的线性相关程度,它的取转载 2014-02-27 12:16:26 · 1290 阅读 · 0 评论 -
mahout数据源
推荐数据的处理是大规模的,在集群环境下一次要处理的数据可能是数GB,所以Mahout针对推荐数据进行了优化。Preference在Mahout中,用户的喜好被抽象为一个Preference,包含了userId,itemId和偏好值(user对item的偏好)。Preference是一个接口,它有一个通用的实现是GenericPreference。Pr转载 2014-02-27 11:38:42 · 1932 阅读 · 0 评论 -
jvisualvm相关
由于在建项目的需要,监控tomcat的内存使用,检查内存泄漏的情况。其实JDK自身已经提供了很多工具,都在JAVA_HOME/bin/目录下:jvisualvm、jconsole、jstatd、jmap等等,以下为试验的环境配置: client: vista、jdk1.6.0_18server: linux、jdk1.6.0_02、tomcat6、IP:192.168.8.7主要从下面转载 2014-02-17 09:56:26 · 875 阅读 · 0 评论 -
mahout聚类
聚类分析什么是聚类分析?聚类 (Clustering) 就是将数据对象分组成为多个类或者簇 (Cluster),它的目标是:在同一个簇中的对象之间具有较高的相似度,而不同簇中的对象差别较大。所以,在很多应用中,一个簇中的数据对象可以被作为一个整体来对待,从而减少计算量或者提高计算质量。其实聚类是一个人们日常生活的常见行为,即所谓“物以类聚,人以群分”,核心的思想也就是聚类。转载 2014-02-27 17:03:10 · 2638 阅读 · 1 评论 -
mahout目前支持的算法汇总
在Mahout实现的机器学习算法见下表:算法类算法名中文名分类算法Logistic Regression逻辑回归Bayesian贝叶斯SVM支持向量机Perceptron感知器算法Neural N转载 2014-02-27 17:38:51 · 1847 阅读 · 0 评论 -
jstack线程说明
现在市面上很少有人对这一块做整理,所以,导致很多新人在拿到一个stack文件之后,也是一头雾水。线程名称 所属 解释说明Attach ListenerJVMAttach Listener 线程是负责接收到外部的命令,而对该命令进行执行的并且吧结果返回给发送者。通常我们会用一些命令去要求jvm给我们一些反转载 2014-02-17 10:21:12 · 936 阅读 · 0 评论 -
java工具
Java 内存泄露监控工具(一) -- JVM监控工具介绍jstack, jconsole, jinfo, jmap, jdb, jstatjstack -- 如果java程序崩溃生成core文件,jstack工具可以用来获得core文件的java stack和native stack的信息,从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。另外,jstack工具还可以附属转载 2014-02-19 10:48:05 · 2038 阅读 · 0 评论 -
MAT内存泄露分析
几个还不错的例子,学会了如何定位java的内存泄露问题,如下:例1、http://tivan.iteye.com/blog/1487855例2、http://blog.youkuaiyun.com/knowledgeaaa/article/details/16903241http://blog.youkuaiyun.com/knowledgeaaa/article/details/169033转载 2014-02-19 15:40:51 · 807 阅读 · 0 评论 -
sqoop-1.4.3-cdh4.5.0安装
1、下载sqoop到/usr/local:wget http://archive.cloudera.com/cdh4/cdh/4/sqoop-1.4.3-cdh4.6.0.tar.gz2、解压:tar -zxvf sqoop-1.4.3-cdh4.6.0.tar.gz3、重命名:mv sqoop-1.4.3-cdh4.6.0 sqoop4、添加环境变量/etc/profile:ex原创 2014-03-21 01:23:28 · 1092 阅读 · 0 评论 -
mahout-0.7-cdh4.5.0安装
1、下载mahout:http://archive.cloudera.com/cdh4/cdh/4/mahout-0.7-cdh4.6.0.tar.gz2、解压:mahout-0.7-cdh4.5.0.tar.gz3、改名:mv mahout-0.7-cdh4.5.0 mahout4、添加环境变量/tec/profile:export MAHOUT_HOME=/usr/local/原创 2014-03-21 01:25:38 · 1350 阅读 · 0 评论 -
hadoop-lzo-0.4.20安装
一、安装lzop:yum -y install lzop二、安装lzo1、wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz2、tar -zxvf lzo-2.06.tar.gz3、mv lzo-2.06 lzo && cd lzo4、export CFLAGS=-m645、./原创 2014-03-21 01:28:08 · 3601 阅读 · 0 评论 -
sqoop2-1.99.2-cdh4.5.0依赖的所有jar包
sqoop2-1.99.2-cdh4.5.0在安装过程中遇到各种NoClassDefFoundError异常,例如:Exception sending context initialized event to listener instance of class org.apache.sqoop.server.ServerInitializerjava.lang.NoClassDefFou原创 2014-03-21 01:49:51 · 2229 阅读 · 0 评论 -
hadoop安装遇到的各种异常及解决办法
2014-03-13 11:10:23,665 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(m原创 2014-03-21 01:31:54 · 13022 阅读 · 1 评论 -
安装sqoop-1.4.3-cdh4.5.0遇到找不到Sqoop类的异常
异常:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/sqoop/SqoopCaused by: java.lang.ClassNotFoundException: org.apache.sqoop.Sqoop at java.net.URLClassLoader$1.run(UR原创 2014-03-21 01:56:58 · 1219 阅读 · 0 评论 -
hadoop-2.0.0-cdh4.5.0安装
1、创建hadoop用户【所有操作都是root,在所有master和slaver上】1)、创建hadoop用户:adduser hadoop2)、更换密码:passwd hadoop====================================================================================2、安装jdk【所有操作都是roo原创 2014-03-20 18:12:53 · 1097 阅读 · 0 评论 -
hadoop2.0日志问题
http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-jobhistory-log/原创 2014-04-04 11:57:49 · 689 阅读 · 0 评论 -
hadoop job 重要性能参数
hadoop job 重要性能参数mapred.task.profile是否对任务进行profiling,调用java内置的profile功能,打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度,建议在小数据量上尝试mapred.job.reuse.jvm.num.tasks转载 2014-04-21 13:29:46 · 1431 阅读 · 0 评论 -
sqoop-1.4.3-cdh4.5.0+hadoop-2.0.0-cdh4.5.0出现找不到mysql驱动异常原理解析
sqoop import --connect jdbc:mysql://ip:3306/库名 --table 表名 --username 用户名 --password 密码异常:14/03/26 13:31:34 INFO sqoop.Sqoop: Running Sqoop version: 1.4.3-cdh4.5.014/03/26 13:31:34 WARN tool.Base原创 2014-03-26 14:01:32 · 2123 阅读 · 0 评论 -
hadoop集群优化之内存设置
hotshttp://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html原创 2014-05-12 09:37:55 · 1561 阅读 · 0 评论 -
protocal buffer中编码和解码过程
//计算一个整数在varint编码下所占的字节数, public static int computeRawVarint32Size(final int value) { if ((value & (0xffffffff 7)) == 0) return 1; if ((value & (0xffffffff 14)) == 0) return 2;原创 2014-05-22 17:19:23 · 1913 阅读 · 0 评论 -
设计模式自学-观察者模式
观察者模式:1、java.util原创 2014-08-11 14:19:23 · 583 阅读 · 0 评论 -
netty4简易教程
netty4入门简易教程原创 2014-08-25 10:06:59 · 2888 阅读 · 0 评论 -
netty4与protocol buffer结合简易教程
netty4与protocol buffer结合简易教程原创 2014-08-25 10:36:18 · 4486 阅读 · 0 评论 -
java中IO与NIO的区别与各自的应用场景
我应该何时使用IO,何时使用NIO呢?在本文中,我会尽量清晰地解析Java NIO和IO的差异、它们的使用场景,以及它们如何影响您的代码设计。Java NIO和IO的主要区别下表总结了Java NIO和IO之间的主要差别,我会更详细地描述表中每部分的差异。IO NIO面向流 面向缓冲阻塞IO转载 2014-09-22 13:35:31 · 18763 阅读 · 0 评论 -
httpclient3教程(三)
第三章 HTTP状态管理原始的HTTP是被设计为无状态的,面向请求/响应的协议,没有特殊规定有状态的,贯穿一些逻辑相关的请求/响应交换的会话。由于HTTP协议变得越来越普及和受欢迎,越来越多的从前没有打算使用它的系统也开始为应用程序来使用它,比如作为电子商务应用程序的传输方式。因此,支持状态管理就变得非常必要了。网景公司,一度成为Web客户端和服务器软件开发者的领导方向,在它们转载 2014-08-28 14:04:00 · 903 阅读 · 0 评论 -
httpclient3教程(二)
连接管理HttpClient有一个对连接初始化和终止,还有在活动连接上I/O操作的完整控制。而连接操作的很多方面可以使用一些参数来控制。2.1 连接参数这些参数可以影响连接操作:'http.socket.timeout':定义了套接字的毫秒级超时时间(SO_TIMEOUT),这就是等待数据,换句话说,在两个连续的数据包之间最大的闲置时间。如果超时时间是0就解释为是一转载 2014-08-26 15:04:43 · 1029 阅读 · 0 评论 -
httpclient3教程(一)
超文本传输协议(HTTP)也许是当今互联网上使用的最重要的协议了。Web服务,有网络功能的设备和网络计算的发展,都持续扩展了HTTP协议的角色,超越了用户使用的Web浏览器范畴,同时,也增加了需要HTTP协议支持的应用程序的数量。尽管java.net包提供了基本通过HTTP访问资源的功能,但它没有提供全面的灵活性和其它很多应用程序需要的功能。HttpClient就是寻求弥补这项空白的组件,转载 2014-08-28 13:57:35 · 1490 阅读 · 0 评论 -
httpclient4教程(七)
HttpClient程序包是一个实现了 HTTP 协议的客户端编程工具包,要想熟练的掌握它,必须熟悉 HTTP协议。一个最简单的调用如下: import java.io.IOException;import org.apache.http.HttpResponse;import org.apache.http.client.ClientProtocolExcep转载 2014-08-28 14:13:17 · 1076 阅读 · 0 评论 -
httpclient教程(四)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113247.html转载 2014-08-28 14:06:06 · 675 阅读 · 0 评论 -
httpclient3教程(五)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113249.html转载 2014-08-28 14:07:36 · 787 阅读 · 0 评论 -
httpclient3教程(六)
第六章 高级主题6.1 自定义客户端连接在特定条件下,也许需要来定制HTTP报文通过线路传递,越过了可能使用的HTTP参数来处理非标准不兼容行为的方式。比如,对于Web爬虫,它可能需要强制HttpClient接受格式错误的响应头部信息,来抢救报文的内容。通常插入一个自定义的报文解析器的过程或定制连接实现需要几个步骤:提供一个自定义LineParser/LineFor转载 2014-08-28 14:09:18 · 615 阅读 · 0 评论 -
java多线程(一)
转自:http://www.cnblogs.com/mengdd/archive/2013/02/16/2913649.html转载 2014-08-29 16:30:26 · 515 阅读 · 0 评论 -
java多线程(二)
转自:http://www.cnblogs.com/mengdd/archive/2013/02/16/2913680.html转载 2014-08-29 16:33:21 · 513 阅读 · 0 评论