zhaofmyan-优快云博客

原创 oracle多表插入

*****************************************************作者：赵安宁发表：优快云日期：20090828***************************************************** 在oracle中关于多表插入的有四种分别是：1.无条件的多表insert all 2.带条件的多表i

2009-08-28 14:32:00 1618

原创 hive优化总结

1、提前过滤数据，减少中间数据依赖：尽量尽早的过滤数据，减少每个阶段的数据量，对于分区表要加分区，同时只选择需要使用到的数据。如下，改写后的写法将会大大减少join的数据量select ... from Ajoin Bon A.key = B.keywhere A.userid>10 and B.userid and A.dt='2012041

2015-08-06 11:37:42 669

原创 spark on hive 总结

1、大表之间的关联需要自己指定task的任务数,spark.sql.shuffle.partitions2、很多task生产太多的小文件3、hive表中有很多文件，起和文件数一样的任务数

2015-07-31 11:26:29 618

原创 [think in java2]java并发问题总结

1、为何有并发？2、如何实现并发？3、如何实现并发任务之间资源共享？4、如何实现并发任务之间相互协作？5、如何避免并发任务之间死锁？

2015-07-05 15:11:30 623

原创 [think in java2] java 并发发生死锁的条件

1、互斥条件：任务使用的资源中至少一个是不能共享的。2、至少有一个任务它必须持有一个资源且正在等待获取一个当前被别的任务持有的资源。3、资源不能被任务抢占，任务必须把资源释放当作普通事件。4、必须有循环等待，这是，一个任务等待其他任务所持有的资源，后者又在等待另一任务持有的资源，这样一直下去，直到有一个任务在等待第一个任务所持有的资源，使得大家都被锁住。

2015-07-05 14:48:33 468

原创【think in java 笔记1】java变量初始化顺序

1、父类的static部分2、子类的static部分3、父类的域4、父类的构造方法5、子类的域6、子类的构造方法

2015-06-13 11:27:26 416

转载 hive row_number

http://www.cnblogs.com/ggjucheng/archive/2013/01/30/2868993.html

2013-10-08 16:45:26 923

转载学习SAS经典书籍

General StatisticsThe Little SAS Book, for Enterprise Guide 4.2 by Susan J. Slaughter and Lora D. DelwicheThe Little SAS Book, Fourth Edition by Lora Delwiche and Susan SlaughterThe Little S

2013-07-03 23:58:19 27165

原创 SAS 笔记1

1、数值性转换成字符型 1-->001put(1,Z3.)2、print数据时默认显示的字段为label，显示字段真正名称可以用 option nolabel.

2013-02-07 16:38:16 1503

原创 alter system flush buffer_cache;

alter system flush buffer_cache;

2013-01-14 10:43:40 2346

原创【oracle】查看oracle 执行计划

select timestamp,id,lpad(' ', depth * 4) || operation operation,options,object_owner,object_name,optimizer, cost, cardinality, bytes, cpu_cost, io_cost, temp_space, access_predicates fr

2012-10-22 15:59:30 737

原创 10分钟学会ORACLE PL/SQL

目录1、定义 1、1匿名块 declare --定义变量 v_s varchar2(12) := 'Hello World'; v_n number(12, 2); begin v_n := 12.2; end; 1、2 存储过程--无参数create or

2012-03-26 22:35:12 596

原创自动生成创建索引脚本

select table_name,INDEX_NAME, 'create index ' ||INDEX_NAME|| ' on '|| table_name||' ('||ltrim(max(SYS_CONNECT_BY_PATH(DIC.COLUMN_NAME, ',')), ',')||');' from (select di.tab

2012-03-21 17:20:23 984

原创 log4j在程序中指定输出日志文件名

1、配置log4j的配置文件#log4j.properties配置log4j.rootLogger=ALL, A1log4j.appender.A1=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.A

2011-10-15 14:24:13 10787

原创 grep

48 DEC 3BC1997 LPSX 68.00 LVX2A 138483 SEPT 5AP1996 USP 65.00 LVX2A 18947 OCT 3ZL1887 LPSX 43

2011-08-01 17:55:49 629

原创 Cognos报表制作

制作复杂表头1、对报表进行解锁2、多层表头先添加一个列表页眉，然后选中一个列表页眉单元格，依次点击菜单项“结构”-->“页眉和页脚”-->“在上方插入列表行单元格...”或“在下方插入列表行单元格...”，就可以想加几层加几层。首先加一个"列表页眉",然后将

2011-07-23 16:40:18 2672

#定义输出 log4j.rootCategory=DEBUG, dest1, dest2 #定义输出到文件的方式 log4j.appender.dest1=org.apache.log4j.DailyRollingFileAppender #log4j.appender.R=org.apache.log4j.DailyRollingFileAppender log4j.appender.dest1.DatePattern = '.'

2011-03-28 10:11:00 1236

转载 oracle use_ntl详细解释

1./*+ use_nl(t2,t) */提示走nest Loop,但是没有提示t2还是t为驱动表 2./*+ ordered user_nl(t2,t) */提示走 Nest Loop,order提示的是from 后面的第一个表为驱动表. 3./*+ leading(t2) use_nl(t) */直接提示t2为驱动表。 结论：use_NL不能让优化器确定谁是驱动表谁是被驱动表。use_nl(t,t2)也没有指出哪个是驱动表，这时候我们就需要使用Ordered ,

2011-02-24 16:02:00 1099

原创 datastage Oconv 日期转换

datastage 格式化时间日期

2011-02-12 17:38:00 2983

原创查看oracle中哪些SQL语句在执行和给定表空间数据量增长

oracle 表空间增长正在运行SQL

2011-01-04 13:34:00 958

原创 execl导入到sql server中

sql server 导入 execl

2010-12-31 13:30:00 1263

原创 oracle-获得DDL-建表、注释、索引、主键

oracle 自动导出 ddl

2010-12-09 17:00:00 5613

原创在ORACLE中查询表对哪些用户和角色赋权

ORACLE 查询表用户角色赋权

2010-11-12 09:15:00 4934

原创 [转载]获得ORACLE DDL 通过DBMS_METADATA

oracle get ddl DBMS_METADATA

2010-11-02 17:52:00 2705

原创 datastage 7.5破解码

---------------------------------------------- --好东西就因该分享，Good Luck ----------------------------------------------- DataStage v7.5 Server JF282-YTKJM-H76H8-XQP96-8PTBQ * DataStage Server: Serial

2010-09-04 16:38:00 4086

转载快速创建主键

快速创建 oracle 主键索引

2010-08-08 13:44:00 635

原创 VirtualBox的网络配置ubuntu

VirtualBox中设置host和guest之间网络连接默认的是NAT 可以通过在host上通过映射的方式转到guest. 设置ssh VBoxManage setextradata "ubuntu" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestftp5/Protocol" TCP VBoxManage setextradata "ubuntu" "VBoxInternal/D

2010-07-03 00:37:00 510

原创 server job之从job1传递参数到job2

=================================================================== 希望能够和使用的DataStage 朋友们一起探讨学习。QQ：154642320 e-mail:zhaofmyan@sohu.com ======================================

2010-02-11 12:19:00 1352

转载 [转帖]细说数据库集群技术

引言　　信息系统作为企业的神经中枢，在企业的发展过程中起着极其重要的作用，成为保障企业快速发展的重要因素。数据库是用来保存最终计算结果的，所以是整个信息系统中最重要的组成部分，企业的数据库系统应该非常稳健，可是在企业中，决策者可能会发现，为什么我无法访问决策所需的数据，为什么我的应用系统引用的是上周的数据，为什么用户不能查询到实时准确的数据，为什么系统经常出

2010-01-20 12:50:00 4001

原创 oracle之把表文件导出成文本文件

1 spool spool d:/test/table.datselect * from table_name;spool off 2 sqlplus user/password@sid @test.sql > table.dat test.sql select * from table_name; exit;

2010-01-14 15:56:00 854

原创 datastage server job之在routine中控制job

2010-01-13 15:42:00 1283

原创 datastage server job之在routine中调用自定义routine

2010-01-13 15:14:00 1304

原创 sybase乱码问题

通过JDBC连接sybase发现取出来的数据发现是乱码，我的数据库的字符是 sjis。所以在jdbc url上加上字符集参数jdbc:sybase:Tds:10.240.13.195:5000/marco?CHARSET=sjis

2009-12-07 14:17:00 662

转载 [转]datastage 图像数据的数据库存储实现

2008 年 7 月 08 日本文从介绍 BASE64 编码的原理入手，通过采用 C 语言编写DB2 的嵌入存储过程，实现了在数据库内存中将文本格式的图片文件到二进制 BLOB字段之间的转换，并且就性能优化等提出若干建议，该设计思路和程序可以广泛的应用到图像图形数据在 XML 的存储和转换。简介XML是文本型的数据交换结构，对于字符类型的文本交换非

2009-11-26 15:07:00 2293

原创用换行符替换字符

bcp dbname.owner.M_CATALOG out d:/test/p.dat -Usa -Ppassword -Sservename -c -t/"|/" -r/"/n/"sybase中导出数据 sed -nr H; ${ x;s//n//&/g;p} filename 替换文本中所有的换行 change(“

2009-11-25 14:25:00 837

转载【转】Linux系统中的Shell脚本调试技术

本文全面系统地介绍了shell脚本调试技术，包括使用echo, tee,trap等命令输出关键信息，跟踪变量的值，在脚本中植入调试钩子，使用“-n”选项进行shell脚本的语法检查，使用“-x”选项实现shell脚本逐条语句的跟踪，巧妙地利用shell的内置变量增强“-x”选项的输出信息等。一. 前言shell编程在unix/linux世界中使用得非常广

2009-11-22 11:51:00 836 1

原创数据仓库建模与ETL的实践技巧

一、数据仓库的架构　　数据仓库(Data Warehouse / DW)是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它的数据基于OLTP源系统。数据仓库中的数据是细节的、集成的、面向主题的，以OLAP系统的分析需求为目的。　　数据仓库的架构模型包括了星型架构(图二：pic2.bmp)与雪花型架构(图三：pic3.bm

2009-11-18 12:41:00 1388

转载 ETL的定义

ETL就是Extract、Transfrom、Load即抽取、转换、加载三个英文单词首字母的集合。抽取：就是从源系统抽取需要的数据，这些源系统可以是同构也可以是异构的：比如源系统可能是Excel电子表格、XML文件、关系型数据库，而目标系统通常都是关系型的数据仓库。转换：源系统的数据按照分析目的，转换成目标系统要求的格式。其实这个名词并

2009-11-18 12:34:00 1540

转载数据仓库ETL开发如何进行测试

数据仓库ETL开发如何进行测试？数据仓库ETL开发如何进行测试？由于数据仓库中数据量比较庞大，还有为了安全因素，一般在开发库和测试库数据不完全或者和生成库（正式库）不一致，导致在测试库和开发库中进行代码测试存在一定的问题。我们知道在软件开发过程中有很多测试的方法，按照测试方法可以分为白盒测试和黑盒测试。白盒测试也称结构测试或逻辑驱动测试，是指基于一个应用代码的内部逻辑

2009-11-18 12:31:00 4397

原创 datastage server job开发之在windows环境下模拟linux的运行

由于种种的原因，公司的项目，有两套的开发环境。一个是本地的开发的windows环境，另一个是客户那边的开发linux的环境。要求必须按照linux环境来开发。导致在移植项目的过程中要修改很多代码，导致项目移植风险加大。1 安装cygwin2 在path 环境变量中增加 ;C:/cygwin/bin3 unix命令是 "C:/cygwin/bin/cat.exe" 增加C:/

2009-11-09 14:38:00 1179