- 博客(42)
- 收藏
- 关注
RSS订阅原创 spss中各常用节点及算法
主成分分析法 [url]http://baike.baidu.com/view/45376.htm[/url]时间序列分析 [url]http://baike.baidu.com/view/479624.htm?func=retitle[/url]回归分析 [url]http://baike.baidu.com/view/145440.htm[/url]...
2012-01-04 10:09:51
1973
原创 数据挖掘易犯错误（转）
数据挖掘中的易犯错误• 按照Elder博士的总结，这10大易犯错误包括：0. 缺乏数据（Lack Data）1. 太关注训练（Focus on Training）2. 只依赖一项技术（Rely on One Technique）3. 提错了问题（Ask the Wrong Question）4. 只靠数据来说话（Listen (only) to the Data）5. 使用了未来的信息（Accep...
2011-12-30 09:36:57
240
原创 clementine中关联的提升指数含义
再说说提升水平lift这个参数。假定设定规则的最小阀值为支持度30%，置信度为60%，然后你得到了很多的强关联规则。比如有这么一条，总数据10000个，A商品6000个，B商品7500个，然后同时购买A和B的4000个。我们发现A-B（即购买了a的同时购买b）这条规则也是一条强关联规则。支持度为=4000/1000o=40%，置信度=4000/6000=66.7%.但是我们发现原总...
2011-12-29 15:19:18
378
原创 sas em模块安装
1 下载：sas 9.2 安装介质dvd1:ed2k://|file|%5BSAS.9.2%E5%A4%9A%E5%9B%BD%E8%AF%AD%E8%A8%80%E7%89%88%EF%BC%88%E6%9B%B4%E6%96%B09.21.TS2M2%E7%89%88%EF%BC%89%5D.SAS9_2_Disk1.iso|4315152384|3b745cacd89fb908859...
2011-12-17 16:01:10
1707
原创 oracle数据库导入（偶知道这个忒初级了，就是给自己看的）
# su - oracle$ sqlplus /as sysdbasql> @/path/create_user.sql/*-- Create the user create user myuser identified by "myuser";-- Grant/Revoke role privileges grant connect to myuser;...
2011-12-14 09:54:57
143
原创 clementine VS sas em
1.SAS EM 在所有的数据挖掘产品中唯一一家能够将数据分为训练、验证、测试三部分并能自动地在训练数据上建模，在验证数据上进行模型调整优化，在测试数据上进行模型评估而不影响模型建立，同时还能将各种模型的提升图,ROC图等在一个 页面中显示，进而很直观地进行比较，模型哪个更好一目了然；而SPSS Clementine需要用户手动去分别创建训练、验证、测试等数据然后分别学习，相互之间无法协调，各种模...
2011-12-09 21:22:33
214
原创 spss 关联关系挖掘算法
广义规则归纳(GRI) 节点会发现数据中的关联规则。例如，购买了剔须刀和客户在购买须后水之后，还可能会购买剔须霜。GRI 基于某项指数抽取了信息量最大的规则，此指数考虑了规则的普遍性（支持度）和准确性（置信度）。GRI 可以处理数值型和分类型输入，但目标必须是分类型。Apriori 节点从数据抽取一组规则，即抽取信息内容最多的规则。Apriori 节点提供五种选择规则的方法并使用复杂的索引...
2011-12-09 16:50:05
1458
原创 [模型评估]五种评估图表（Clementine）
预测值和置信度： $R-表示预测值，$RC表示置信度，置信度在0-1之间，说明预测值的精准度。评估图表的工作原理：根据预测值及预测的置信度排序记录、将记录分割为大小相等的组（分位数）并按由高到低顺序为每个分位数绘制业务标准值。收益（增益）图表：收益的定义是相对于全部匹配，发生于每个分位数中的匹配的百分比。其计算方法为（分位数中的匹配数量/全部匹配数量） × 10...
2011-12-05 13:45:37
1903
1
原创 数据挖掘分类及常用算法
基于学习策略的分类机械学习传授学习类比学习归纳学习基于解释的学习基于学习方式的分类（1）有导师学习（监督学习）：输入数据中有导师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，学习结果为函数。（2）无导师学习（非监督学习）：输入数据中无导师信号，采用聚类方法，学习结果为类别。典型的无导师学习有发现学习、聚类、竞争学习等。（3）强化学习...
2011-12-02 11:05:14
343
原创 三种常见的决策树：CART，C5，CHAID
决策树需要计算结点的纯度来选择最具显著性的切分（split）。通常，CART以Gini，C5以信息增益（熵），CHAID以卡方。虽然存在这样的差别，但他们树形状的不同更为重要一些。卡方：http://wenku.baidu.com/view/7c8962eeaeaad1f346933f5f.html C5起源于计算科学领域，讲究小样本上的重复测试比较（cross validation），进...
2011-12-01 11:08:48
1194
原创 数据挖掘步骤
图1为知识挖掘的步骤数据处理： 标准化处理 离散化 (Discretization) 连续值－>离散值，分类中常用 取样 (Sampling) 维度缩减 (Dimensionality Reduction) 维度灾难 (Curse of Dimensionality) 维度过高造成过学习等一系列问题，不利于数据挖掘处理。 特征选取 ...
2011-11-09 13:27:00
238
原创 向量空间的距离
在向量空间模型中，文本泛指各种机器可读的记录。用D（Document）表示，特征项（Term，用t表示）是指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D(T1，T2，…，Tn)，其中Tk是特征项，1<=k<=N。例如一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为D(a，b，c，d)。对含有n个特征项的文...
2011-11-01 15:06:47
220
原创 老忘的java getproperty
Properties props=System.getProperties(); //系统属性 System.out.println("Java的运行环境版本："+props.getProperty("java.version")); System.out.println("Java的运行环境供应商："+props.getProperty("java.vendor"));...
2011-10-26 15:57:39
170
原创 寻找第K大的数的方法总结（转）
今天看算法分析是，看到一个这样的问题，就是在一堆数据中查找到第k个大的值。 名称是：设计一组N个数，确定其中第k个最大值，这是一个选择问题，当然，解决这个问题的方法很多，本人在网上搜索了一番，查找到以下的方式，决定很好，推荐给大家。 所谓“第（前）k大数问题”指的是在长度为n(n>=k)的乱序数组中S找出从大到小顺序的第（前）k个数的问题。 解...
2011-10-13 17:31:08
130
原创 Terracotta tc-config.xml配置说明（这个真的是转的）
<?xml version="1.0" encoding="UTF-8" ?><!--All content copyright Terracotta, Inc., unless otherwise indicated. All rights reserved.--><!-- tc-config-reference.xml This...
2011-10-10 14:14:06
438
原创 oracle数据库性能瓶颈的定位及处理
在进行高并发、大数据量的对数据库的写操作时 发现数据库写操作耗时甚多，进入https://192.168.6.139:1158/em管理控制台 进入性能选项卡，如图oracle1.jpg，当时发现configuration棕色区域耗时较多 点进configuration或者图片中的棕色区域，将会看到重做日志组不够用的相关提示信息，实际上这与oracle的写数据机制有关系，当...
2011-10-08 15:42:53
904
原创 netty框架下性能优化
1 对于JVM启动时选取的启动参数是：-server -Xms2048m -Xmx2048m -XX:+UseParallelGC -XX:+AggressiveOpts -XX:+UseFastAccessorMethods 2 尽量避免小数据通信、不定长不稳定数据通信。可以通过数据拼接，报文格式设定等方式以稳定和优化吞吐量 3 json数据协议 4 静态化Chann...
2011-09-13 11:25:05
1091
原创 mybatis优化(转)
最近测试发现个myBatis 有个比较严重的性能问题， 描述如下：1. define a bean classpublic class Bean {private int id;private String desc;private long price;public int getId() {return id;}public void setId(int id) {this.id = i...
2011-09-07 17:25:43
261
原创 TERRA-COTTA 之TCCONFIG配置问题 回顾
问题描述：配置完成TERRA-COTTA的config.xml之后，能够正常启动，并且通过其console，主从服务器均正常显示。但是每当运行时持久化时会出现主键冲突，tc—config.xml配置如下：<?xml version="1.0" encoding="UTF-8"?><con:tc-config xmlns:con="http://www.terracot...
2011-09-06 16:56:07
207
原创 TERRA-COTTA多服务器配置及控制台运行
第一步：编写tc-config.xml:<?xml version="1.0" encoding="UTF-8"?><con:tc-config xmlns:con="http://www.terracotta.org/config"><servers>配置主从terracotta位置<server host="192.1
2011-08-31 10:25:45
659
原创 hadoop eclipse搭建过程中遇到的问题 回顾
1.hadoop 0.20.2版本需要与eclipse 3.3合用，否则会有如下迹象：1通过eclipse打开run on hadoop 没有反应 2 权限不足 2.hadoop 主从，以及eclipse宿主机器设置 hosts如： 192.168.7.190 HadoopMaster192.168.7.191 slave01192.168.7.192 slave02 ...
2011-08-25 14:43:36
157
原创 vmware已安装tools，但是hgfs仍无内容的解决方法
已经开启vmware共享了 先安装 sudo apt-get install open-vm-dkms然后在执行sudo mount -t vmhgfs .host:/ /mnt/hgfs/mnt前有空格
2011-08-22 16:37:43
220
原创 java 集合类遍历
ArrayList list2 = new ArrayList(); list2.add("java"); list2.add("php"); list2.add(".net"); Iterator it=list2.iterator(); while(it.hasNext()){ ...
2011-08-04 10:37:57
112
原创 oracle 的函数们
select to_char(ascii('A')) 结果, 'ascii' 函数名, '获得相应的asic值' 说明 from dual union select to_char(chr(54740)), 'chr', '由ascii变成字符' zhao from dual union select concat('010-', '88888888') || '转23', 'concat', '...
2011-08-02 16:10:42
108
原创 spring事务操作
场景：程序A首先存一条数据，然后通过socket给B发送消息，让B取数据库里面去DB取数据 发现有时当B取数据时A还没有插入完成，应该在A类和方法上都要加上 @Transactional spring中简单载入上下文： public static void main(String[] args) { ApplicationContext applic...
2011-08-01 15:27:11
97
原创 oralce分类统计
@Transactional@Component("statisDAO")@Scope("prototype")public class StatisDAO extends AbstractDAO { private static final String SQL_STATIS_CHANNELTYPE = "INSERT INTO channeltypestatis(uu...
2011-07-27 14:41:48
115
原创 map遍历问题
import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Set; public class Test2 { public static void main(String[] args) { Map<String,String> map = new HashMa...
2011-07-07 14:21:28
91
原创 向AIX上传.bin文件时最好用binary方式完成上传
如果以文本方式上传将会报错文件损坏之类的 用xmanagement上传，两个地方都需要改
2011-07-04 16:07:01
385
原创 linux下报不可见字符冗余问题
在linux下执行脚本JAVA_HOME=/usr/java5ANALYZER_LIB=/CFCA/xFraud/TxCollector/libANALYZER_CONFIG_FILE_PATH=/CFCA/xFraud/TxCollector/configCP=.:$CLASSPATH#Add ANALYZER library to CLASSPATHfor file in ${ANALYZ...
2011-07-01 09:09:01
149
原创 windows 命令
Windos 7作为微软新操作系统，有哪些运行命令呢？下面我们就一起来看看吧。 1、cleanmgr: 打开磁盘清理工具 2、compmgmt.msc: 计算机管理 3、conf: 启动系统配置实用程序 4、charmap: 启动字符映射表 5、calc: 启动计算器 6、chkdsk.exe: Chkdsk磁盘检查 7、cmd.exe: CMD命令提示符 8、certmgr....
2011-06-18 18:24:45
129
原创 oracle 存储过程
create or replace procedure DELETE_DATA(v in varchar2) isbeginfor i in 1..2647 loopbegindelete from cert t where ROWNUM <=10000 and substr(key_id,0,8)='955661AA';commit;end;end loop;end DELETE_DATA...
2011-06-10 10:57:46
98
原创 drools 规则引擎 over window:time(1d)的问题
drl文件中定义 package com.sampledeclare Activity@role( event )@timestamp(txTime)end rule "totaltimessrule"salience 1when$account:Account($accountnumber:accountnumber) from entry-point ActivityStr...
2011-06-07 17:02:47
451
原创 并发集合类的那些事
一般来说：在map中concurrenthashmap在同步锁问题上效率较高http://www.iteye.com/topic/164644软件包 java.util.concurrent 的描述 在并发编程中很常用的实用工具类。此包包括了几个小的、已标准化的可扩展框架，以及一些提供有用功能的类，没有这些类，这些功能会很难实现或实现起来冗长乏味。下面简要描述主要的组件。另请...
2011-05-24 09:54:18
128
原创 多线程下锁资源方法调用思路
关于多线程锁资源的性能与安全的新解决思路：如某个方法访问临界方法时，在多线程中调用该方法互不被影响的解决思路：首先：为避免每次调用都初始化对象的耗损，用static方法，不被影响加synchronized关键字,但锁资源将会成为瓶颈 解决思路：根据threadid 个数 初始化相同个数的对象，然后各threadid调用各自持有对象的静态方法，将不会产生。 实用范围：该方法所在的对象不是特别大，只涉...
2011-05-21 09:09:31
145
原创 java基本类实现二级缓存
LRU linkedhashmap中由于重写 removeEldestEntry后只能一个一个的删除，如果删除后的内容需要持久化的话将会影响效率，因此需要批量转储，如果能访问hashmap的header after等私有变量就好了，可是未遂本人解决方案如下：首先将要删除的linkedhashmap中的removeEldestEntry(java.util.Map.Entry<K, V&g...
2011-05-19 16:12:14
480
原创 startweblogic.sh启动后不能加载jar
在weblogic部署war文件后如发现有些jar文件莫名其妙未被加载，作为权宜之计可以在startWeblogic文件中把CLASSPATH="${CLASSPATH}${CLASSPATHSEP}${MEDREC_WEBLOGIC_CLASSPATH}"修改为CLASSPATH="/Ŀ¼/bcmail-jdk15-137.jar:/Ŀ¼/bcprov-jdk15-137.jar:/...
2011-04-22 08:35:40
2003
原创 字符串编码
byte[] dd="text".getBytes("UTF-16LE"); //dd=[116, 0, 101, 0, 120, 0, 116, 0] String fileContent=new String(dd);//宽字节text 说明：new String("text".getBytes(),"UTF-16LE");和new String("text".getB...
2011-04-21 14:03:19
82
原创 java shutdownhook
“关闭钩子”（ShutdownHook）是这样一个概念：向虚拟机注册一个线程，当程序退出(Ctrl+C)时虚拟机会启动这个线程,我们可以在这个线程的run()中做一些清除的工作,如:释放数据库连接,关闭文件等.注册:Runtime.getRuntime().addShutdownHook(Thread t); 注销:Runtime.getRuntime().removeShutdo...
2011-03-29 13:33:14
96
转：birt报表
1.概述网站: http://www.eclipse.org/birt/phoenix/BIRT报表 拥有和Dreamweaver一般的操作界面，可以像画table一样画报表，生成图片，导出Excel，html分页样样齐全，样式和script设置简单，貌似还有OLAP导航功能，JasperReport注定要被打入冷宫了。特别留意，SpringSide里仿照Spring集成JasperRep...
2008-05-21 12:47:38
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人