- 博客(132)
- 问答 (10)
- 收藏
- 关注
RSS订阅原创 python 读取文件异常的解决
f=open(sfile,'w')IOError: [Errno 22] invalid mode ('w') or filename: 'data/\xef\xbb\xbf507770149' 这个异常 的解决方案 不细说了 直接代码 #sfile=_key.lstrip('\xef\xbb\xbf') ...
2012-11-30 16:22:14
488
原创 虚拟机安装centos6.3 sh配置
1 安装完毕后 先关闭防火墙 /etc/init.d/iptables status/stop2 open sshdcd /etc/init.d sshd stutas/start3 ssh ip then exception log:ssh_exchange_identification: Connection closed by remote host...
2012-09-02 00:22:15
248
原创 算法类简单总结 待续
Mine算法 方法摘要：用网格判断数据的集中程度，集中程度意味着是否有关联关系方法具有一般性，即无论数据是怎样分布的，不限于特定的关联函数类型，此判断方法都是有效MIC如果变量对x,y存在函数关系，则当样本数增加时，MIC必然趋向于1如果变量对x,y可以由参数方程c(t)=[x(t),y(t)]所表达的曲线描画，则当样本数增加时，MIC必然趋于1如果变量对x,y在...
2012-06-21 11:09:07
194
原创 【转】文本分类 特征选择与特征权重计算的区别
在文本分类的过程中，特征（也可以简单的理解为“词”）从人类能够理解的形式转换为计算机能够理解的形式时，实际上经过了两步骤的量化——特征选择阶段的重要程度量化和将具体文本转化为向量时的特征权重量化。初次接触文本分类的人很容易混淆这两个步骤使用的方法和各自的目的，因而我经常听到读者有类似“如何使用TFIDF做特征选择”或者“卡方检验量化权重后每篇文章都一样”等等困惑。文本分类本质上也...
2012-05-24 15:58:49
253
原创 贝叶斯与向量机的理解
Bayes法Bayes法是一种在已知先验概率与条件概率的情况下的模式分类方法，待分样本的分类结果取决于各类域中样本的全体。 Bayes方法的薄弱环节在于实际情况下，类别总体的概率分布和各类样本的概率分布函数(或密度函数)常常是不知道的。为了获得它们，就要求样本 足够大。另外，Bayes法要求表达文本的主题词相互独立，这样的条件在实际文本中一般很难满足，因此该方法往往在效果上难以达到理论上的...
2012-05-23 15:58:10
694
原创 one-versus-rest和one-versus-one的不同
SVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。目前，构造SVM多类分类器的方法主要有两类：一类是直接法，直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单，但其计算复杂度比较高，实现起来比较困难，只适合用于小型问题中；另一类是间接法，主要是通过组合多个二分类器来实现多分...
2012-05-21 15:43:26
1201
原创 中科院分词libICTCLAS2011部署 日志
首先系统装的是 CentOS 5 64bit # lsb_release -a <!----->使用的分词是包 Linux-64bit-JNI 将原分词程序weiboDustAPI.jar包后 放入web工程， Linux-64bit-JNI的源包全部放到tomcat /bin目录下 运行发现java.lang.UnsatisfiedLinkErr...
2012-05-03 16:14:20
143
原创 oracle存储介绍
数据库的存在一定需要有永久性存储方式和介质。Oracle自然也不例外，在Oracle10g中，有4种存储形式，分别是操作系统文件，裸分区，自动存储管理，集群系统OCFS（RAC）。下面分别说一下这4种存储形式。 1 操作系统文件。 这种是大家最常用的方式了，也是非商业运行模式（比如开发或者开发阶段的测试环境）下最常用的形式。当大家安装Oracle的时候，如果选用了操作系统文件的...
2012-03-08 17:50:19
165
原创 积分应用
积分的应用微积分是高等数学的基础，但我们搞程序的平时使到微积分的时候实在少之又少，反正我大四以前根本没有用到微积分（编写什么插值求积分那种程序不算），果真如此吗？？？微积分的威力发挥在算法分析上，你会算法分析吗？会的话，肯定会体会到。看看积分的例子：“有一个无序数列，每次遍历整个数列查找一个数，然后删除之，重复这个步骤直到数列为空，问这个算法的效率？”这个你一眼就看出效率了，...
2011-12-23 10:39:42
229
原创 千万级的数据，每条记录如何能够实时准确的知道自己的排名？
需求：一个千万级数据量的服务，不停的插入和删除记录，每条记录需要知道自己的排名，比如SNS中的抢车位，如何让每个uid能够知道自己在所有人中的车总价排名？致命伤（cache无用论）有1000万个用户，试想排名第500万的用户突然发飙了，把他的车全卖了，那么他之后的500万个用户的排名都提高了，也就是cache全部瞬间失效了。。。pity，此时加再多的cache只能是浮云...
2011-12-23 10:38:10
1584
原创 JAVA 调用Web Service的方法
JAVA 调用Web Service的方法1.使用HttpClient用到的jar文件：commons-httpclient-3.1.jar方法：预先定义好Soap请求数据，可以借助于XMLSpy Professional软件来做这一步生成。String soapRequestData = "<?xml version=\"1.0\" encoding=\"utf-8...
2011-11-22 09:48:58
114
原创 col to rows
/** * 计算驻留时长返回的记录 * col to rows * 2011-11-4 * @param list * @param mulColF 需要转换的列 * @param groupKeyF 分组的字段 * @param calcValueF需计算结果的字段 * @return...
2011-11-07 18:14:03
164
原创 poi导出 合并单元格
/** * 导出并合并单元格 * 2011-11-7 * @param list * @param fields * @param values * @param sheetName * @return * HSSFWorkbook * Yang,Hualong */ ...
2011-11-07 17:56:27
136
原创 esayUi 单元格合并
if(data.rows.length!=0) { var name=data.rows[0].name; var index=0; var size=0; for( i=0;i<data.rows.length;i++) { if(name!=data.rows[i].name) { $...
2011-11-07 17:48:00
127
原创 装载 使用Openlayers调用天地图在线服务数据
使用Openlayers调用天地图在线服务数据国家测绘局2010年10月21日正式发布中国公众版国家地理信息公共服务平台“天地图”，作为中国境内数据资源最全的地理信息服务网站，“天地图”将为公众提供权威、可信、统一的地理信息资源。“天地图”公开开放了地图数据服务接口，第三方使用者可以直接通过互联网获取地图数据，无需授权认证，在公众服务信息公开方面可以说是一次非常大的进步。“天地图”...
2011-10-16 17:00:47
317
原创 java实现一个自定义排序
java中List排序 例子 package test; import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import java.util.ArrayList;import java.util.Collections;import java.u...
2011-10-12 18:02:34
203
原创 【转】多线程应用思考
很多开发者谈到Java多线程开发，仅仅停留在new Thread(...).start()或直接使用Executor框架这个层面，对于线程的管理和控制却不够深入，通过读《Java并发编程实践》了解到了很多不为我知但又非常重要的细节，今日整理如下。不应用线程池的缺点有些开发者图省事，遇到需要多线程处理的地方，直接new Thread(...).start()，对于一般场景是没问...
2011-09-11 00:36:27
83
原创 【转】分布式环境中并发问题
在分布式环境中，处理并发问题就没办法通过操作系统和JVM的工具来解决，那么在分布式环境中，可以采取一下策略和方式来处理：避免并发时间戳串行化数据库行锁统一触发途径避免并发在分布式环境中，如果存在并发问题，那么很难通过技术去解决，或者解决的代价很大，所以我们首先要想想是不是可以通过某些策略和业务设计来避免并发。比如通过合理的时间调度，避开共享资源的存取冲...
2011-09-11 00:24:14
143
原创 java多线程应用
大家使用多线程无非是为了提高性能，但如果多线程使用不当，不但性能提升不明显，而且会使得资源消耗更大。下面列举一下可能会造成多线程性能问题的点：死锁过多串行化过多锁竞争切换上下文内存同步下面分别解析以上性能隐患死锁关于死锁，我们在学习操作系统的时候就知道它产生的原因和危害，这里就不从原理上去累述了，可以从下面的代码和图示重温一下死锁产生的原因： ...
2011-09-11 00:07:19
93
原创 转载 HashMap实现分析
** *@author annegu *@date 2009-12-02 */ Hashmap是一种非常常用的、应用广泛的数据类型，最近研究到相关的内容，就正好复习一下。网上关于hashmap的文章很多，但到底是自己学习的总结，就发出来跟大家一起分享，一起讨论。 1、hashmap的数据结构 要知道hashmap是什么，首先要搞清楚它的数据结构，在java编程语言中，最基本...
2011-08-29 00:30:52
116
原创 Index Full Scan vs Index Fast Full Scan
Index Full Scan vs Index Fast Full Scanindex full scan和index fast full scan是指同样的东西吗？答案是no。两者虽然从字面上看起来差不多， 但是实现的机制完全不同。我们一起来看看两者的区别在哪里?首先来看一下IFS,FFS能用在哪里： 在一句sql中，如果我们想搜索的列都包含在索引里面的话，那么index f...
2011-08-25 15:24:29
152
原创 oracle语句优化
Dear All系统里有下面的语句，其中MDN是Varchar类型，在Where条件中MDN=13811276353，这个写法有问题，后面是一串数字而不是加引号的字符串，这会导致oracle做index的full scan，极其消耗CPU，请改成下面的形式：mdn=’13811276353’可以看到，两种写法的执行计划不一样。前一条语句运行0.3秒，后一种0.03秒，相差10倍。...
2011-08-25 13:52:52
129
原创 转 读写分离
随着一个网站的业务不断扩展，数据不断增加，数据库的压力也会越来越大，对数据库或者SQL的基本优化可能达不到最终的效果，我们可以采用读写分离的策略来改变现状。读写分离现在被大量应用于很多大型网站，这个技术也不足为奇了。ebay就做得非常好。ebay用的是oracle，听说是用Quest Share Plex 来实现主从复制数据。 读写分离简单的说是把对数据库读和写的操作分开对应不同...
2011-08-23 23:51:46
86
原创 线程返回值的方式介绍
在Java5之前，线程是没有返回值的，常常为了“有”返回值，破费周折，而且代码很不好写。或者干脆绕过这道坎，走别的路了。 现在Java终于有可返回值的任务（也可以叫做线程）了。 可返回值的任务必须实现Callable接口，类似的，无返回值的任务必须Runnable接口。 执行Callable任务后，可以获取一个Future的对象，在该对象上调用get就可以获取到Cal...
2011-08-23 23:31:18
275
原创 Java操作大文件
JAVA操作大数据量的文件利用FileReader的会把所有的内容加载到内存中，因此没有意义。 如果要使用BIO，建议使用java.io.RandomAccessFile来做，读取部分信息。 如果要使用NIO,建议使用java.nio.channels.FileChannel,使用虚拟内存来Mapping大文件。 有如下情况下可以用到内存文件映射技术解决问题: 1.不...
2011-08-23 23:24:45
231
原创 tomcat cluster
对于WEB 应用 集群的技术 实现而言，最大的难点就是如何能在集群中的多个节点之间保持数据 的一致性，会话（Session）信息是这些数据中最重要的一块。要实现这一点，大体上有两种方式，一种是把所有Session数据放到一台服务器 上或者数据库 中，集群中的所有节点通过访问 这台Session服务 器来获取数据；另一种就是在集群中的所有节点间进行Session数据的同步拷贝，任何一个节点均保...
2011-08-22 22:58:38
132
原创 拦截器与过滤器
很多人都了解过滤器也听说过拦截器，但是要是区分它们的不同点还真是真的说不清楚，一下可以简要的说明：1、拦截器是基于java的反射机制的，而过滤器是基于函数回调2、过滤器依赖与servlet容器，而拦截器不依赖与servlet容器3、拦截器只能对action请求起作用，而过滤器则可以对几乎所有的请求起作用4、拦截器可以访问action上下文、值栈里的对象，而过滤器不能5、在...
2011-08-21 22:36:06
78
原创 sql写法的注意事项
基本的Sql编写注意事项尽量少用IN操作符，基本上所有的IN操作符都可以用EXISTS代替。不用NOT IN操作符，可以用NOT EXISTS或者外连接+替代。Oracle在执行IN子查询时，首先执行子查询，将查询结果放入临时表再执行主查询。而EXIST则是首先检查主查询，然后运行子查询直到找到第一个匹配项。NOT EXISTS比NOT IN效率稍高。但具体在选择IN或EXI...
2011-08-20 23:20:42
112
原创 字符流与字节流的区别
1推荐流是一个有序的字节序列，可作为一个输入源，也可作为一个输出的目的地。字节流以字节为单位输入输出，字节流类名含有stream,字符流以字符为单位输入输出，字节流类名含有reader或writer.为了通用性，java中字符是16位的unicode字符，所以8位的字节流必须和16位的字符流进行转换。字节流到字符流的转换使用InputStreamReader类：...
2011-08-20 22:50:02
180
原创 SOCKET 与 HTTP
4.1 SOCKET与TCP/IP 关系Socket 是一种应用接口, TCP/IP 是网络传输协议，虽然接口相同, 但是不同的协议会有不同的服务性质。创建Socket 连接时，可以指定使用的传输层协议，Socket 可以支持不同的传输层协议（TCP 或UDP ），当使用TCP 协议进行连接时，该Socket 连接就是一个TCP 连接。Soket 跟TCP/IP 并没有必然的联系。S...
2011-08-20 22:32:44
220
原创 tomcat中的几点配置说明
1. 如何加大tomcat连接数在tomcat配置文件server.xml中的<Connector ... />配置中，和连接数相关的参数有：minProcessors：最小空闲连接线程数，用于提高系统处理性能，默认值为10maxProcessors：最大连接线程数，即：并发处理的最大请求数，默认值为75acceptCount：允许的最大连接数，应大于等于maxP...
2011-08-19 22:20:30
86
原创 关于struts1和struts2及webork的单例和多实例
老是看到不会的问题就像转过来，记录下来，以后好看，一定要看~ struts1中对action实例采取的单例模式，所有的请求都有一个实例来响应，由此引发在多线程环境下线程安全问题。而这个线程安全问题仅仅是针对实例变量来说的，在执行execute时所有线程共享一个实例变量，因此需要用同步来解决线程安全问题，由此可能引起线程等待进而性能下降的问题。对局部变量来说不存在这个问题，因为在每个线程...
2011-08-18 23:31:39
91
原创 线程池的原理和连接池的原理
线程池的原理: 来看一下线程池究竟是怎么一回事？其实线程池的原理很简单，类似于操作系统中的缓冲区的概念，它的流程如下：先启动若干数量的线程，并让这些线程都处于睡眠状态，当客户端有一个新请求时，就会唤醒线程池中的某一个睡眠线程，让它来处理客户端的这个请求，当处理完这个请求后，线程又处于睡眠状态。可能你也许会问：为什么要搞得这么麻烦，如果每当客户端有新的请求时，...
2011-08-18 23:18:32
80
非常好的Spring源码分析链接
http://www.ibm.com/developerworks/cn/java/j-lo-spring-principle/index.htmlhttp://www.ibm.com/developerworks/cn/java/wa-spring1/
2011-08-18 23:06:08
139
原创 使用SQL Loader导入大量数据，避免使用SQL频繁写库
2011-02-01 00:54 50人阅读 评论(0) 收藏 举报目前所做的项目需要从一个按行记录的数据文件取出部分字段，再将这些字段的按行存储到Oracle数据库。这些数据大约有2 700 000条，原始数据文件有450M左右。至少有两种方法可以实现： 一.将原始数据文件读进内存流中，每读一行解析一条数据，接着执行一条SQL语句，将解析到的数据插入数据库表； ...
2011-08-17 08:11:08
147
原创 xml应用于存储的讨论【转】
写道XML简介谈到XML就不能不提HTML,HTML语言的出现推动了互联网的普及.在XML诞生之初甚至现在，也有好多人有这样一种误解XML将完全取代HTML，其实，完全不是这样的。 同HTML一样， XML 是SGML (Standard Generalized Markup Language, 通用标识语言标准)的一个子集，它是描述网络上的数据内容和结构的标准。尽管如此，两这之间还是...
2011-08-03 16:01:23
98
原创 It面试 经典 问答
Q： Can you sell yourself in two minutes？ Go for it. （你能在两分钟內自我推荐吗？大胆试试吧！） A： With my qualifications and experience, I feel I am hardworking, responsible and diligent in any project I undertake. Y...
2011-08-02 16:11:31
142
原创 It面试 自我介绍
Good morning !It is really my honor to have this opportunity for a interview,I hope i can make a good performance today. I'm confident that I can succeed.Now i will introduce myself bri...
2011-08-02 16:09:57
1563
1
原创 oralce sql监控
emctl start dbconsole访问地址为：http://IP:1158/em/isqlplusctl start访问地址为：http://IP:5560/isqlplus
2011-06-23 16:48:31
73
空空如也
如何完美的解释”延迟加载“提高查询性能这个问题？
2011-01-07
请教一个使用Exjts 怎样做一个 上传本地磁盘路径的问题
2009-10-31
请教：Extjs 不但可以上传文件还可以 上传文件夹
2009-10-29
怎样让Ext.form.DateField 这个控件不但可以设置 年月日还可以设置时分秒
2009-10-28
请教关于Extjs图片上传的问题（）
2009-10-27
EXtjs TriggerField 在表单中关闭后第二次弹出不显示 {急】
2009-10-23
问Extjs专家一个问题（关于表格合并的问题）
2009-10-19
进来讨论Extjs的分组表格扩展用法
2009-10-13
大家帮忙看一下 我的程序报错了
2009-03-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人