- 博客(45)
- 资源 (20)
- 收藏
- 关注
转载 rm删除大量文件
rm命令的一般形式为: rm [选项] 文件… 如果没有使用- r选项,则rm不会删除目录。 该命令的各选项含义如下: - f 忽略不存在的文件,从不给出提示。 - r 指示rm将参数中列出的全部目录和子目录均递归地删除。 - i 进行交互式删除。在删除大量文件时有点不太方便,使用rm -rf有时会报错,“参数列太长”或“参数列溢出” find . -name "*.svn"|xargs rm -r三、xargsxargs - build and exec
2011-01-02 22:20:00
3276
转载 Hadoop作业提交分析(一)
<br /> bin/hadoop jar xxx.jar mainclass args<br />……<br /> 这样的命令,各位玩Hadoop的估计已经调用过NN次了,每次写好一个Project或对Project做修改后,都必须打个Jar包,然后再用上面的命令提交到Hadoop Cluster上去运行,在开发阶段那是极其繁琐的。程序员是“最懒”的,既然麻烦肯定是要想些法子减少无谓的键盘敲击,顺带延长键盘寿命。比如有的人就写了些Shell脚本来自动编译、打包,然后提交到Hadoop。但
2010-12-25 23:47:00
666
原创 @InterfaceAudience 与 @InterfaceStability
<br /> hadoop common 下的两个类 InterfaceAudience ,InterfaceStability ;<br />InterfaceAudience 有三个抽象方法,主要用于说明使用的范围<br /> <br /> <br />/**<br /> * Intended for use by any project or application. 在任务项目或应用中可使用<br /> */<br />@InterfaceAudience.Public<
2010-12-25 23:12:00
5526
转载 mapreduce 中文版 中文翻译
MapReduce:超大机群上的简单数据处理 摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:
2010-11-12 13:49:00
518
原创 从另一个角度解析一文档
前几天在网上看到了一个PERL 文本解析的问题,大概如下-CCTTTATCTAATTTTTGGTGCATGAG-CCGGA-ATAATCGGAACAGCTT-CCTTTATCTAATTTTTGGTGCATGAGCCGGAA-TAATCGGAACAGCT---CCTTTATCTAATTTTTGGTGCA-TGAGCCGGA-ATAATCGGAACAGC---CCTTTATCTAATT
2010-04-19 22:58:00
515
原创 正则表达式 FNA 的几个特性 一
最近没事作研读了一下正则表达式,感觉很有意思的。很多特性grep ,awk ,sed 是不支持的,些特性都是基于NFA引擎的正则表达式,如perl 5 ,PHP 等语言都支持。一、固化分组 (?>) 基于DFA 引擎的正则表达式不支持简单点讲固化分组目的就是为了不让引擎回溯,从而提高效率。看一个例子 m/(?>.*)a$/ 这里是想匹配a结尾,但这里什么都匹配不到,因为.*
2010-04-18 10:57:00
665
转载 NCR以数据仓库改变零售业
编者按:数据仓库是面向目标的、综合的、随时间而变化的用以支持管理决策的数据集成。早在1981年NCR为Wal-Mart超市集团建立数据仓库。今天,NCR在全球实施并投入使用的大型数据仓库已超过1000家,市场份额超过50%。 在世界企业大规模连锁化经营的背后,客户关系管理是加强他们竞争能力的有效手段。利用数据仓库系统来了解市场、改进业务流程、加强客户服务和促进销售可以说是值得国内企业借鉴
2010-01-20 22:30:00
1172
转载 转载“需求挖掘”
有这么一种人,你问他们要什么的时候他们永远说不清楚,他们唯一能说清楚的是你所说的不是他们想要的。 比如一群人一起吃饭,你问他们他们会说随便,但是你提议说吃火锅,他们说太上火;你提议说吃快餐,他们说没营养;你提议去面馆,他们会说不卫生;你提议说吃西餐,他们会说吃不惯。。。。。。 就好象我们以前开发软件,用户部门永远讲不清楚他们要的是什么样子的,但是等我们做出来之后,他们就会说这里
2010-01-20 22:28:00
344
转载 DBMS_STATS分析表
作用:DBMS_STATS.GATHER_TABLE_STATS统计表,列,索引的统计信息.DBMS_STATS.GATHER_TABLE_STATS的语法如下:DBMS_STATS.GATHER_TABLE_STATS (ownname VARCHAR2,tabname VARCHAR2, partname VARCHAR2, estimate_percent NUMBER,
2009-06-25 09:55:00
1084
转载 ORACLE表连接方式分析及常见用法
摘要: 针对在数据仓库环境下,由于超大数据量的处理而产生的效率问题,本文深入分析了ORACLE表的几种连接方式、特点、适用范围,以及对于如何使用和优化做了详细的探讨。关键字: 数据仓库 ORACLE 表连接 一 引言数据仓库技术是目前已知的比较成熟和被广泛采用的解决方案,用于整和电信运营企业内部所有分散的
2009-06-24 10:49:00
899
转载 一个软硬件牛人的学习经历---给同是换行的人以共勉
这些日子我一直在写一个实时操作系统内核,已有小成了,等写完我会全部公开,希望能够为国内IT的发展尽自己一份微薄的力量。最近看到很多学生朋友和我当年一样没有方向,所以把我的经历写出来与大家共勉,希望能给刚如行的朋友们一点点帮助。一转眼我在IT行业学习工作已经七年多了,这期间我做过网页,写过MIS、数据库,应用程序,做过通信软件、硬件驱动、协议栈,到现在做操作系统内核和IC相关开发,这中间走了
2009-05-24 20:19:00
1131
转载 Clob和Blob对象的存取
作为测试,我们新建一个TUser对象,其image属性中,保存了一个图片文件的二进制内容。而其resume属性,我们以一个简单的字符串作为填充。 1 TUser user = new TUser();
2009-05-07 16:40:00
909
转载 有关数据质量控制
早上联系到林同学,这厮除了骄傲地告诉俺他的论文答辩社会实践各等成绩校三好等破事外,重点知道了他目前在做关于数据质量控制的研究,并且下决心搞出点成绩。他的课题正好和俺目前做的事非常相似,我也是一有时间就想啊想,可惜没有他那样的学术环境,琢磨出的东西毕竟没有他写的有条理。 数据质量不高,有人简单地以为数据是错误的,数据不可用。其实数据质量问题比较复杂,不能用简单的对错来区分。
2009-04-29 15:50:00
674
原创 宏语句中使用dim()函数
%macro test;data _null_; a=1; b=2; c=3; array abc[*] a b c; %do i=1 %to dim(abc); put abc[&i]; %end;run;%mend;%test;错误原因:
2009-04-20 21:07:00
6593
原创 input set 时遇到地问题
今天遇到了两问题 一、如果我input 数据时要求输入一个空格hou z m,如该字段是字符类型的 cards里的观测怎么写呢? 二、我用SET COPY一表数据过来时,想再加上一个汇总列,怎么加呢?
2009-04-20 20:32:00
628
转载 用SAS读入原始数据(1):文本文件 的四种格式
文本文件多以.txt、.dat以及.csv为后缀(在Unix/Linux世界,还可能出现.data数据甚至没有后缀的情况)。一般分两种,其一看起来跟下面一样——如果用UltraEdit等编辑器打开,你能看到指示列数的标尺,而且每个字段的列数是固定的,称为字段固定(Fixed Fields)的文本文件: 2810 61 MOD F2804 38 HIGH F 下面的数据中,每个
2009-04-20 20:30:00
12641
转载 用SAS读入原始数据(1):文本文件(续)
总结一下,有两种文本文件,及其对应的读入方法: 字段固定(Fixed Filed)——列输入模式(Column)、格式化输入模式(Formatted) 分隔符固定(Delimited Data)——列举输入模式(List)对字段固定的文本文件,列输入模式: 对数值变量,只能读入标准数据,包括正负号、小数点、数字、和由E构成的科学计数; 不能够读入日期时间,以
2009-04-20 20:22:00
1315
转载 如何表建立索引?
大家都在讨论关于数据库优化方面的东东,刚好参与开发了一个数据仓库方面的项目,以下的一点东西算是数据库优化方面的学习+实战的一些心得体会了,拿出来大家共享。欢迎批评指正阿!SQL语句:是对数据库(数据)进行操作的惟一途径;消耗了70%~90%的数据库资源;独立于程序设计逻辑,相对于对程序源代码的优化,对SQL语句的优化在时间成本和风险上的代价都很低;可以有不同的写法;易学,难精通
2009-04-20 00:04:00
1014
原创 索引失效问题
今天用子查询时遇到了索引失效的问题,就把解决的过程和大家分享一下吧。。先是用IN语句select /*+ INDEX ( table [index [index]...] ) */ 字段A tableA where 字段b in(...)查看执行计划,发现没有走索引。为什么?在网上一查看,一网友解释是用IN 时由于值不确定,所以不能走索引(IN OR 经常会使索引
2009-04-19 23:40:00
765
转载 为什么数组是从零开始?好处是。。。
今天遇到了个问题。为什么数组是从零开始?搞了那么久的编程都没有注意过这个问题。惭愧啊。。。我们来看一下,各网友的解释吧。。 最佳答案 随着你遇到的问题种类越来越多,你就会发现下标从0开始能给程序在细节上带来的优化效果了。 比如,最基本的,确定数组a中第i个元素的地址,如果从0开始,则a[i]的地址= 首地址 + i*每个数据所占的长度;如果从1开始,则a[
2009-04-19 23:33:00
3466
转载 mod函数详解
我们知道,mod函数是一个求余函数,其格式为: mod(nExp1,nExp2),即是两个数值表达式作除法运算后的余数。那么:两个同号整数求余与你所知的两个正数求余完全一样(即两个负整数与两个正整数的算法一样)。 一、两个异号整数求余 1.函数值符号规律(余数的符号) mod(负,正)=正 mod(正,负)=负 结论:两个整数求余时,其值的符号为除数的符号。 2.取值规律 先将两个整数看作
2009-04-11 14:57:00
10013
2
转载 写有效的web分页sql语句
说起statspack,想到年前一个跟web分页有关的故障,某天服务器负载狂增加,load由平时的小于10飚升到30以上,数据库报警不断。经过检查我发现大部分进程都在执行同样的sql,statspack报表显示这些语句的逻辑读、物理读都排在最前面,奇怪,之前报表未见到过这些sql,大过年的谁在胡搞?Buffer Gets Executions Gets per Exec %
2009-03-17 15:32:00
569
原创 夹缝求生存,勤者存。
今天读了一篇文章叫作《不眠的硅谷》,讲述的是无数硅谷IT人艰苦奋斗与时间赛跑的故事,正是这无数硅谷人的无数不眠之夜铸就今日硅谷的辉煌,IT巨头背后是无数精英奋斗的身影。用任正非的话来说很不幸我们进入了最艰苦的电子行业。在残忍的竞争中要想更好的生存只有比别人付出更多,夹缝求生存,勤者存。
2009-03-13 16:31:00
855
转载 不眠的硅谷
睡觉是一种奢侈 安德烈.拉莫斯常常工作到5点钟,6点钟开始睡觉。早晨8点左右被来自东海岸或欧洲的电话吵醒。如果晚上休息充足,他会在4点钟起床,或者当感到身体舒适时,他就在床上辗转反侧,也许一点也不想睡。拉莫斯今年28岁,家在米尔蒂帕斯,经营一家游戏制作公司。他说他感到身体比以前痛得更厉害,有好几个晚上昏昏欲睡。但是他依然艰难执行由高科技工业性质所决定的工作日程。这个工业的发展如此之快
2009-03-13 15:32:00
525
转载 华为的红旗到底能打多久
任正非 一个企业怎样才能长治久安,这是古往今来最大的问题。华为的旗帜还能打多久?华为在研究这个问题时,主要研究了推动华为前进的主要动力是什么,怎么使这些动力能长期稳定运行,而又不断自我优化。大家越来越明白,促使核动力、油动力、煤动力、电动力、沼气动力……一同努力的源是企业的核心价值观
2009-03-13 15:31:00
1327
转载 管理的最高境界在“无为而治”
“无为而治”,是我国先贤共同追求的理想。孔子说:“无为而治者,其舜也与!夫何为哉?恭己,正南面而已矣!”天子应该无为于上,以期贤相有为于下。依孔子的观点,管理既为“修己安人的历程”,管理者所需要努力的,即在“修身以正人”。他认为“君子之德风,小人之德草。草上之风必偃。”肯定“上好礼,则民莫敢不敬,上好义,则民莫敢不服;上好信,则民莫不敢不用情。”管理者只要以身作则,以道诲人,便可以“
2009-03-13 15:29:00
523
转载 任正非文章连载二十五:不做昙花一现的英雄
由于十年卧薪尝胆、艰苦奋斗的成功,面对国内外可能将越来越多的善意的宣传,我们是否会沾沾自喜,在我们队伍中是否会滋生一些不良的浅薄的习气?华为人的自豪是否会挂在脸上?凭什么自豪?华为人能否持续自豪?我们前进的道路是越来越宽广,还是越来越困难?木秀于林,风必摧之。我们越发展,竞争对手实力越强,竞争就越困难。我们要有长期在思想上艰苦奋斗的准备。持续不断地与困难奋斗之后,会是一场迅猛的发展,这种
2009-03-13 15:23:00
1895
转载 任正飞:向美国人民学习什么
这次访美我们重在学习管理,学习一个小公司向规模化转变,是怎么走出浑沌的 文/任正非 前赴后继的创业精神与浪起云涌的创新机制 我去过美国很多次,美国人民的创机制与创新精神留给我很深的印象。他们连玩也大胆创新,一代代人的熏陶、传递,一批又一批的移民不同文化的冲击、平衡与优化,构成了美国的创新文化。 越来
2009-03-13 15:05:00
1119
原创 积极心态
积极心态能给工作和生活带来更多创造性的解决方法,积极的心态不只限于关注自己的事和专业,注意你是工作在一个团队中,是团队中的一员. 积极的心态体主要体现在 要有成功的信念和实现成功的方式--坚持 作事先作人 过去不等未来 要作有准备的人
2009-03-10 22:17:00
1958
1
转载 单一职责原则
引言 一个优良的系统设计,强调模块间保持低耦合、高内聚的关系,在面向对象设计中这条规则同样适用,所以面向对象的第一个设计原则就是:单一职责原则(SRP,Single Responsibility Principle)。 单一职责,强调的是职责的分离,在某种程度上对职责的理解,构成了不同类之间耦合关系的设计关键,因此单一职责原则或多或少成为设计过程中一个必
2009-03-07 15:31:00
1517
转载 道德经@老子
一章道,可道,非恒道。名,可名,非恒名。无名,天地之始;有名,万物之母。故常无欲,以观其妙;常有欲,以观其徼。此两者同出而异名,同谓之玄。玄之又玄,众妙之门。二章天下皆知美之为美,斯恶已;皆知善之为善,斯不善矣。有无相生,难易相成,长短相形,高下相盈,音声相和,前后相随,恒也。是以圣人处无为之事,行不言之教,万物作而弗始,生而弗有,为而弗恃,功成而弗居。夫唯弗居,是以不去。三章
2009-03-03 16:07:00
1047
转载 LDAP使用
LDAP目录的优势如果需要开发一种提供公共信息查询的系统一般的设计方法可能是采用基于WEB的数据库设计方式,即前端使用浏览器而后端使用WEB服务器加上关系数据库。后端在Windows的典型实现可能是Windows NT + IIS +Acess数据库或者是SQL服务器,IIS和数据库之间通过ASP技术使用ODBC进行连接,达到通过填写表单查询数据的功能;后端在Linux系统的典型
2008-12-08 09:13:00
1100
转载 LDAP介绍
1. LDAP介绍 41.1. LDAP是什么 41.2. LDAP是电话簿 41.3. LDAP是不是数据库 42. LDAP的特点 52.1. LDAP的优势 52.1.1 跨平台 52.1.2 费用及维护 52.1.3 复制技术 52.1.4 允许使用ACI 52.2. LDAP存储什么数据 62.3. 什么时候该用LDAP存储数据 63. LDAP的基本模型 73.1 信
2008-12-08 09:12:00
572
转载 JdbcTemplate与事务
JdbcTemplate与事务上例中的JdbcTemplate操作采用的是JDBC默认的AutoCommit模式,也就是说我们还无法保证数据操作的原子性(要么全部生效,要么全部无效),如:JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource);jdbcTemplate.update("UPDATE user SET age = 10 WHE
2008-10-25 14:05:00
5934
转载 频繁跳槽是经济发展的必经路
一年之际在于春,中国职场春季历来是跳槽的黄金季节,上一年度的奖金、分成已经到位,便到了换工作调高工资的时候,在很多中国员工看来,跳槽是提高工资的最佳途径。和日本员工谈起在公司的就职期限往往令人惊讶,前不久和一个在日本并不知名的公司合作,两位主管都已经在这家不知名的公司工作了20多年,大学毕业至今没有更换过东家,问起缘由却被反问为什么要跳槽,事后反思才明白频繁跳槽都是贫穷做的怪。中国经济所有
2008-04-25 14:26:00
731
转载 在eclipse中解决java.lang.UnsupportedClassVersionError 错误
以前用JDK1.5,公司要求使用JDK1.4完了后发现用ECLIPSE编译不了程序:上网搜索发现是版本有些冲突:解决方法Windows-->Preferences在弹出的窗口中选择java-->compiler在右上方Compile compliance level:把1.5改成1.4ok!
2007-10-17 10:27:00
755
原创 代码重构与优化
在软件开发过程中经常遇到这样的一件事就是,昨天写的代码今天就读不懂了.这很大的一个原因就是代码没有写注释和代码太长和逻辑很乱.前几天我看一项目中一个同事写的代码....public String getSql(final String code, final String name, final String type) { // TODO Auto-generated method stu
2007-09-06 10:33:00
1051
1
原创 DWR之HELLO world
DWR的原理为:把JAVA类注入JS从且达到可以在JS中调用JAVA类中的方法,实现了异步调用。同GWT相比DWR的优点有一、DWR可以同JS和HTML同步调用,从且解决GWT中页面美工排版的困难。二、dwr是把JAVA类注入JS中,而不需要学习新的技术。web.xml文件配置如下:http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3
2007-06-11 00:11:00
942
原创 Lucene之Hello world
首先,确认要建立索引的文件。在E:/lucene/test下放置所有要建立索引的文件。a.txt b.txt c.txt d.txt 内容如图:选择开发工具和开发包开发工具开发工具Eclipse 3.2 开发包 lucene-demos-1.9-final.jar lucene-core-1.9-final.jar4.6 Lucene实
2007-05-26 13:20:00
1525
1
原创 Lucene功能包简介
Lucene功能包简介1. analysisanalysis包中包括的源代主要用于对需要建立索引的文本进行分词、过滤等操作。2. standardstandard包中是Lucene的标准分析器,同时还保留了在使用JavaCC生成分析器时的.jj脚本。3. documentdocument包主要用于向Lucene提供对Document和Field
2007-05-26 13:15:00
1385
2
几大数据仓库方案特性比较
2008-12-12
BI、数据仓库基础概念
2008-12-12
Cognos报表制作
2008-12-12
Cognos安装手册
2008-12-12
Datastage介绍及示例
2008-12-12
spring开发手册
2008-12-12
Teradata SQL基础教程.pdf
2008-11-13
Ajax4jsf中文使用手册.rar
2008-11-13
DWR中文文档.pdf
2008-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人