- 博客(57)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 TIME_WAIT 统计
现象：1、外部机器不能正常连接SSH2、内向外不能够正常的ping通过，域名也不能正常解析。问题排查：通过 netstat -anp | grep TIME_WAIT | wc -l 命令查看数量，发现TIME_WAIT的连接数量超过了18000太夸张了。1、初步怀疑是程序没有关闭连接，codereview了两遍，发现，已经正常关闭。2、网
2015-04-05 22:25:43
2022
转载 安装spark
安装JDK具体步骤参详了如下链接：http://blog.youkuaiyun.com/yang_hui1986527/article/details/6677450 1、到 Sun 的官网下载http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
2015-01-31 23:26:29
653
转载 Ubuntu Sun JDK 安装
第一步：下载jdk-7-linux-i586.tar.gz[html] view plaincopywget -c http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz [html] view plaincopy
2014-12-13 08:47:05
426
原创 SpringMVC EL 表达式不起作用
看看你的web.xml的头部是这样的？改成这样的就可以了http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee http://java.sun.com/xml/ns
2014-10-01 22:10:02
680
转载 redis 2.6.9安装报错解决
redis 2.6.9安装报错解决 zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directoryzmalloc.h:55:2: error: #error "Newer version of jemalloc required"make[1]: *** [adlist.o] Erro
2014-08-04 17:00:38
450
转载 mongoDB 分片的管理
本文档为在 Windows / CentOS 下配置1个 mongos 服务， 多个 mongoDB 分片的操作。具体操作为：新增分片1，插入数据，新增分片2，插入数据，新增分片3，插入数据，新增分片4，插入数据，移除分片2，新增分片5 的处理。用于模拟 一开始业务数据量不大，只使用一台服务器。
2014-07-04 19:52:09
647
转载 CAS 与 Spring Security 3.1整合配置详解
一般来说，Web 应用的安全性包括用户认证（Authentication）和用户授权（Authorization）两个部分。用户认证指的是验证某个用户是否为系统中 的合法主体，也就是说用户能否访问该系统。用户授权指的是验证某个用户是否有权限执行某个操作。在一个系统中，不同用户所具有的权限是不同的。比如对一个 文件来说，有的用户只能进行读取，而有的用户可以进行修改。一般来说，系统会为不同的用户分配不
2014-06-05 12:15:47
2915
转载 cas实现sso
环境篇 一、所需软件Jdk：jdk1.6.0_13Apache：httpd-2.2.15-win32-x86-openssl-0.9.8m-r2Tomcat：apache-tomcat-6.0.10jks2pfx：证书导出工具http://www.myssl.cn/download/jks2pfx.zipmemcache：memca
2014-06-05 12:05:57
851
转载 cas 单点退出后跳转问题
另：关于cas单点退出SingleSignOutFilter警告cas单点退出直接链接到服务器的logout地址，为了使退出后能返回原来的项目，需要做的修改。1.服务端cas-servlet.xml配置增加属性 p:followServiceRedirects="true"2.退出的链接后加上?service=希望退出后返回的地址例如 client1
2014-06-05 12:04:38
1071
转载 Idea Tomcat sysout输出中文乱码问题解法
Idea Tomcat sysout输出中文乱码问题解法 好不容易mac下搭建好了开发环境 将原有在windows 上开发的项目拿到mac 运行时，发现输出控制台（ system.out.println("汉字") ）全是小方块加？号,潜意识换了两个字体 无效 Google 一番有个哥们儿问题雷同但是口水话几千字，核心地方就这么一句
2014-05-04 22:41:57
970
转载 Spring MVC处理静态资源
如何你的DispatcherServlet拦截 *.do这样的URL，就不存在访问不到静态资源的问题。如果你的DispatcherServlet拦截“/”，拦截了所有的请求，同时对*.js,*.jpg的访问也就被拦截了。 目的：可以正常访问静态文件，不要找不到静态文件报404。 方案一：激活Tomcat的defaultServlet来处理静态文件Xml代码
2014-05-04 22:04:04
579
原创 mac下安装mysqldb时出现的问题
warning: GMP or MPIR library not found; Not building Crypto.PublicKey._fastmath. building 'Crypto.Hash._MD2' extension cc -fno-strict-aliasing -fno-common -dynamic -arch x86_64 -arch i386 -pipe -f
2014-04-13 16:47:26
691
原创 python类型转换
int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数 complex(real [,imag ]) 创建一个复数 str(x ) 将对象 x 转换为字符串
2014-04-12 10:46:06
642
原创 Failed to get local InetAddress for VMID
com.mchange.v2.c3p0.impl.C3P0ImplUtils - Failed to get local InetAddress for VMID. This is unlikely to matter. At all. We'll add some extra randomnessjava.net.UnknownHostException: bogon:bogo
2014-04-08 21:16:00
987
转载 在rubymine中启动应用。产生 Library not loaded: libmysqlclient.18.dylib (LoadError) 错误的解决办法
环境：Mac OS X 在用mysql2的时候.运行rails server出现错误Library not loaded: libmysqlclient.18.dylib就是找不到这个文件，这个文件在mysql/lib下有的，只是位置不对所以我们可以选择sudo ln -s /usr/local/mysql/lib/libmysqlcli
2014-04-07 21:22:46
711
转载 mac下卸载mysql的方法
mac下mysql的DMG格式安装内有安装文件，却没有卸载文件……很郁闷的事。网上搜了一下，发现给的方法原来得手动去删。很多文章记述要删的文件不完整，后来在stackoverflow这里发现了一个遗漏的地方，所以将完整版记述在这里，以供查阅。先停止所有mysql有关进程。sudo rm /usr/local/mysqlsudo rm -rf /usr/local/mysql*
2014-04-07 21:13:42
556
原创 Ruby on Rails 新建Bolg项目
rails new blog --skip-bundle -d mysql将Gemfile里面的source改为source 'https://ruby.taobao.org/'添加两个gem包gem 'execjs'gem 'therubyracer'rails server启动rails服务器 就可以在3000端口看到欢迎界面了如遇到中文utf8码无法存储的问题，需要设置数据库的编码方式
2014-03-30 15:03:43
503
转载 commons-pool简介
☆为什么使用对象池 恰当地使用对象池化技术，可以有效地减少对象生成和初始化时的消耗，提高系统的运行效率。Jakarta Commons Pool组件提供了一整套用于实现对象池化的框架，以及若干种各具特色的对象池实现 ☆对象池思路 对象池化的基本思路是：将用过的对象保存起来，等下一次需要这种对象的时候，再拿出来重复使用，从而在一定程度上减少频繁创建对象所
2014-03-23 11:46:08
722
原创 Spring中的循环依赖问题
循环依赖(circular reference)循环依赖，就是说类A依赖与B，而B又依赖于A,这种情况本不应该发生，发生这种情况是因为我在项目中使用的工厂模式，用一个工厂来生产一些管理器类，而某一管理器要需要另一管理器提供支持所以就要引用工厂类，而这个管理器和这个工厂就出现了循环依赖使用lazy-init就可以了
2014-03-22 23:08:45
594
原创 如何设定指定logger的日志级别
log4j.logger.${logger名称}=${日志级别}例如:log4j.logger.org.apache.commons=ERRORlog4j.logger.httpclient = ERROR
2014-03-20 19:55:29
889
转载 Spring中 @Autowired标签与 @Resource标签 的区别
Spring不但支持自己定义的@Autowired注解，还支持由JSR-250规范定义的几个注解，如：@Resource、 @PostConstruct及@PreDestroy。1. @Autowired @Autowired是Spring 提供的，需导入 Package:org.springframework.beans.factory.annotation.Autowi
2014-03-13 22:25:10
468
转载 simhash用来进行海量文本近似去重的mapreduce版本
其实这个内容和原来的文章是放在一起的，但之前只看了Online版，后来才看的batch版。发现其实batch版本更有意思且更适用。online版可以看我博客里的翻译：http://blog.youkuaiyun.com/lgnlgn/archive/2010/11/14/6008498.aspx简单介绍一下simhash和mapreduce吧simhash用来近似计算文本之间的
2014-02-25 08:31:38
1191
转载 海量数据相似度计算之simhash和海明距离
通过 采集系统 我们采 集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹 角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，如果我们的爬虫每天采集的数据以千万计算，我们如何对于这些海量千万级的数据进行高效的合并去重。最简单的做法是拿着待比较的
2014-02-25 08:30:25
1059
原创 struts2输出html防止转码
s:property标签概述 s:property标签的功能就是输出数据，其属性及意义如下： 属性名默认值类型说明Default—Stringvalue属性的值是null时的默认值escapeTrueBoolean是否转义HTML代码valueObject要输出显示的数据源
2014-01-11 12:57:21
692
1
转载 Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序package com.wujintao.hbase.test;impo
2014-01-08 08:43:52
670
转载 Solr4的分布式集群搭建
Solr4.0官网上介绍的是在jetty中部署，本文介绍在tomcat中的集群安装部署。 1、将solr4.0-alpha包中dist目录下的apache-solr-4.0.0-ALPHA.war放到tomcat的webapps下，启动tomcat解压，手动删除war包，关闭tomcat。 2、将apache-solr-4.0.0-ALPHA更名为solr。
2014-01-06 14:34:12
861
原创 通过Solr4.0.0实现分布式索引
Solr单节点服务器的搭建所需组件TomcatJDKSolr4.0.0步骤1.把下载的solr包解压后，拷贝dist目录下的solr-4.0.0.war到tomcat home 的webapps目录下，重命名为solr.war。2.在任意地方，新建一个文件夹，命名为SORL_HOME，把解压的solr 包的\example\solr目录下的所有文件拷贝到
2014-01-06 12:40:50
672
转载 solr4.2 JAVA调用代码
添加索引：String url = "http://127.0.0.1:8080/solr";SolrServer server = new HttpSolrServer(url);SolrInputDocument doc1 = new SolrInputDocument();doc1.addField("id", "1");doc1.addField("title", "云
2014-01-06 08:48:08
592
转载 tomcat部署solr步骤
准备工作:tomcat : apache-tomcat-7.0.47solr : solr-4.6.01.把下载的solr包解压后，拷贝dist目录下的solr-4.6.0.war到tomcat home 的webapps目录下，重命名为solr.war。2.在任意地方，新建一个文件夹，命名为SORL_HOME，把解压的solr 包的\example\solr目录下
2014-01-05 17:16:28
648
转载 hadoop作业引用第三方jar文件
编写mapreduce程序，习惯用eclipse，可以利用hadoop插件，引用第三方jar文件，然后直接run on hadoop即可，很方便。当然插件和eclipse的版本要匹配，不然总是local执行。但如果将自己的程序发布成jar文件，然后用hadoop命令行执行，则会遇到依赖类找不到问题：NoClassDefFoundError。 要解决这个问题，就需要了解hadoop命令式如
2014-01-05 11:09:35
1919
转载 机器学习其实比你想的更简单
很多人觉得机器学习高不可攀，认为这是一门只有少数专业学者才了解的神秘技术。毕竟，你是在让运行在二进制世界里的机器得出它自己对现实世界的认识。你正在教它们如何思考。然而，本文几乎不是你所认为的晦涩难懂、复杂而充满数学公式的文章。正如所有帮助我们认识世界的基本常识一样（例如：牛顿运动定律、工作需要去完成、供需关系等等），机器学习最佳的方法和概念也应该是简洁明了的。可惜的是，绝大多数关于机器学习
2014-01-05 11:07:40
586
转载 Google Guava Collections 使用介绍
Google Guava Collections 使用介绍Google Guava Collections（以下都简称为 Guava Collections）是 Java Collections Framework 的增强和扩展。每个 Java 开发者都会在工作中使用各种数据结构，很多情况下 Java Collections Framework 可以帮助你完成这类工作。但是在有些场合你使用
2014-01-05 11:06:38
785
原创 Tomcat与Apache HTTP server 整合
在/etc/httpd/conf/httpd.conf末尾加入：ProxyPass /*.jsp* ajp://127.0.0.1:8009/ProxyPass /caifeng ajp://127.0.0.1:8009/ProxyPassReverse / ajp://127.0.0.1:8009/将所有名为caifeng的请求转发至tomcat 而不影响其他php应用
2014-01-04 18:37:29
645
原创 Hadoop JAR包运行时权限不够的问题
错误信息如下：13/11/10 22:19:09 INFO mapred.JobClient: Task Id : attempt_201311102206_0004_m_000002_0, Status : FAILEDjava.lang.Throwable: Child Errorat org.apache.hadoop.mapred.TaskRunner.run(Task
2014-01-04 18:37:12
4361
原创 Map/Reduce爬虫
input -> map -> shuffle -> reduce -> outputinput时先把文件变成map函数将input的结果进行处理，变成的形式，然后Sort然后通过Shuffle在当前节点将相同的Key的Value合并(merge)，变成然后传到Reducer节点进行reduce处理因为从Mapper节点向Reducer节点传输消耗网络带宽，所以要尽可能在Map
2014-01-04 18:36:31
834
转载 心跳检测
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.InetSocketAddress;import java.net.ServerSocket;import java.ne
2014-01-04 18:35:56
931
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人