yimubanggong-优快云博客

原创 vortex-报错集

问题一： CREATE TABLE: Improper use of NULL in the target list; use conversion function to specify data type of the null value.字段列表中，null 作为字段时候会报此错误，作个转换就好 cast(null as 数据类型) as 字段名

2017-09-14 17:41:41 2930

原创 vortex-vwload

1 用法Usage: vwload [options] database file ...Options:-a --attributes attr,... List of attributes to load (default: all)-B --rollback on/off Roll back on failure-c --cluster

2017-09-04 12:14:36 495

原创 datastage-报错收集

问题一：ODBC_Connector_21: Schema reconciliation detected a size mismatch for column longdrive_time. When reading database column DFLOAT into column SFLOAT, truncation, loss of precision, data corrupt

2017-08-31 17:16:25 1840

原创 SHELL-日期处理

1，月初，月末1.1 判断一个日期是否是月末if [ ${end_date_str:6:2} -eq "01" ]thenecho "月末执行月统计"elseecho "不是月末不执行月统计"fi2，前几天与后几天3，年初，年末4，季初，季末

2017-08-29 13:39:25 667

原创数据仓库建模-维度建模基础知识

1，什么是维度建模2，什么是维度表和事实表3，维度建模的方法当一个人业务总是随时间发生变化，那么需要什么呢？四步维度建模： 1，选取业务处理过程（选取业务处理）维度模型一致性第一个维度模型应该是一个最有影响的模型（POS零售业务） 2，定义业务处理的粒度（定义粒度）粒度的定义：对事实表的行给出确定的说明。也就是

2017-08-15 18:37:04 1715

概述：在设计算法的时候，要考虑两个方面，一个是算法的正确性，另外一个就是算法的效率，也就是复杂度，通常情况下，我们优先考虑的是时间复杂度，这也是本文要讨论的内容。算法学习的时候，经常碰到这样的问题，为什么快速排序的时间复杂度是O(nlog(n))?为何插入排序的时间复杂度是O（n^2）？这些是我们熟悉的算法时间复杂度，可能病没有太大的问题，那我们不熟悉的呢？如果我们采用三路归并排序而不是二路归并排

2017-08-03 15:35:34 309

原创 datastage监控平台

1，通过web监控datastge服务器和批量调度https://xxx.xx.xxx.xxx:9446/ibm/iis/ds/console/

2017-08-01 15:43:28 548

转载算法-决策树

1.决策树的定义树想必大家都会比较熟悉，是由节点和边两种元素组成的结构。理解树，就需要理解几个关键词：根节点、父节点、子节点和叶子节点。父节点和子节点是相对的，说白了子节点由父节点根据某一规则分裂而来，然后子节点作为新的父亲节点继续分裂，直至不能分裂为止。而根节点是没有父节点的节点，即初始分裂节点，叶子节点是没有子节点的节点，如下图所示：图1.1 树的结构

2017-07-31 17:01:24 942

转载用hive外部表访问hbase数据

在hbase中创建表后,我们只能在hbase shell中使用scan查询数据,这对于熟悉SQL的使用者不怎么习惯,不过我们可以在hive中创建外部表来访问hbase表中的数据,例子如下:1.这里hbase中的表oss_user_label_action_data已经存在=> #:0xd5a1b0>hbase(main):067:0> scan 'oss_user_label_

2017-07-19 16:33:13 7092 2

原创 datastage出现中文乱码

场景1：用datastage的odbc连接mssql，view data 出现乱码查看mssql的编码：SELECT COLLATIONPROPERTY('Chinese_PRC_Stroke_CI_AI_KS_WS', 'CodePage')编码是:936 GBK将控件改成自定义编码，如下图：场景2：场景1调试好后，插入目标库，出现乱码将字段类型为varchar的改

2017-06-23 13:45:09 3583

原创 datastae连接mssql配置

1，修改.odbc.ini配置文件，添加odbc驱动消息文件路径：[dsadmin@ons ~]$ cd $DSHOME [dsadmin@ons DSEngine]$ pwd/ons/IBM/InformationServer/Server/DSEngine备份:[dsadmin@ons DSEngine]$ cp .odbc.ini .odbc.ini.20170620

2017-06-20 13:47:00 459

转载数据仓库--代理键

[转]数据仓库设计——代理键转载2015-12-06 12:12:22 标签：it数据仓库代理键在关系型数据库设计中，代理键是在当资料表中的候选键都不适合当主键时，例如资料太长，或是意义层面太多，就会用一个attribute来当代理主键，此主键可能是用流水号，来代替可辨识唯一值的主键。在数据仓库领域有一个概念叫Surrogatekey，中文一般翻

2017-03-31 09:58:21 6176 1

转载 vim--字符串替换

vi/vim 中可以使用：s 命令来替换字符串。该命令有很多种不同细节使用方法，可以实现复杂的功能，记录几种在此，方便以后查询。　　　：s/vivian/sky/ 替换当前行第一个 vivian 为 sky 　　　：s/vivian/sky/g 替换当前行所有 vivian 为 sky 　　　：n，$s/vivian/sky/ 替换第 n 行开始到最后一行中每一行

2017-01-12 15:59:24 228

原创黑马程序员——网络通信

《1》网络通信模型OSI参考模型 Open System Interconnetion Reference Model (开放系统互联参考模型 )TCP/IP参考模型 Transmission Control Protocol / Internet Protocol (传输控制协议

2013-07-27 14:13:01 390

原创黑马程序员——I/O

(1)Input/Output1，IO流用来处理设备之间的数据传输2，Java对数据的操作是通过流的方式3，Java用于操作流的对象都在IO包中4，流按操作数据分为两种：字节流与字符流。 5，流按流向分为：输入流，输出流。 6，字节流的抽象基类：•InputStream ，OutputStream。7，字符流的抽象基类：•Reader ， Write

2013-07-19 13:03:34 389

原创黑马程序员——泛型

泛型：JDK1.5版本以后出现新特性。用于解决安全问题，是一个类型安全机制。好处1.将运行时期出现问题ClassCastException，转移到了编译时期。，方便于程序员解决问题。让运行时问题减少，安全。，2，避免了强制转换麻烦。泛型格式：通过在使用java提供的对象时，什么时候写泛型呢？通常在集合框架中很常见，只要见到其实当使用集合时，将集合中要存

2013-07-17 16:09:32 396

原创黑马程序员——java线程

进程：是一个正在执行中的程序。每一个进程执行都有一个执行顺序，该顺序是一个执行路径，或者叫一个控制单元。线程：就是进程中的一个独立的控制单元。线程在控制着进程的执行一个进程中至少有一个线程。 JAVA VM 启动的时候会有一个进程java.exe该进程中至少一个线程负责java程序的执行而且这个线程运行的代码存在于main方法中。该线程称之为主线程。

2013-07-11 22:59:09 331

原创黑马程序员——java接口

（2）接口的特点l接口是对外暴露的规则。l接口是程序的功能扩展。l接口的出现降低耦合性。l接口可以用来多实现。l类与接口之间是实现关系，而且类可以继承一个类的同时实现多个接口。l接口与接口之间可以有继承关系。

2013-07-06 17:45:23 337

原创黑马程序员——关键字 abstract 抽象

---------------------- http://edu.youkuaiyun.com"target="blank">ASP.Net+Android+IO开发S、.Net培训、期待与您交流！ ----------------------（1）抽象：笼统的，模糊的，不具体的，简单理解为：看不懂。（2）什么时候用：当多个类中出现相同功能，但是功能主体不同，这时可以进行向上

2013-07-06 12:14:46 374

原创黑马程序员 java关键字final

final是一个修饰符特点：（1）可以修饰类，函数，变量。（2）被final修饰的类不可以被继承。用final修饰类是为了避免被继承，被子类复写方法。Demo被final修饰，如果被继承，编译出错如下代码：（3）被final修饰的方法不可以被复写代码： class Demo{ final void show1() //不允许被复写 {

2013-07-06 00:12:19 445

yimubanggong的专栏