- 博客(52)
- 收藏
- 关注
RSS订阅
原创 MYSQL的REPEATABLE-READ解决不可重复读和幻读
做了一个实验 create table t (id number, mount number);insert into t value(1,1); AB1begin; 2select * from t; 3 begin;4 select * from t;5upd
2018-02-05 15:28:00
3217
1
转载 Eclipse出现java was started but returned exit code 1报错并退出
解决方案：根据eclipse.ini文件的说明（http://wiki.eclipse.org/Eclipse.ini），该文件提供指定运行eclipse的JVM功能，需要在eclipse.ini中加入JVM的路径说明。语法很简单：-vmC:\Program Files\Java\jdk1.6.0_22\bin\javaw.exe-vmargs注意：vm一定要在vmargs之前...
2019-07-22 11:58:08
522
转载 在eclipse中怎么快速找到实现接口在继承类中的实现方法+无法追踪接口实现类
为了看一个接口方法的具体实现，必须先找到接口，再找到对应的实现类，再找到对应的方法，虽然有ctrl + f 和ctrl + h，但是当类和接口很多的时候，找的你崩溃。然后找资料，发现还有快捷键居然没用过，ctrl + t，找方法的神器。鼠标指到你要查看的方法上，按快捷键ctrl + t点击下面的类，就跳到了方法的具体实现有时候追踪方法不管用，ctrl+t不出现接口的实...
2019-07-22 11:51:25
1337
原创 Informatica 安装
通过上一篇内容：Informatica 了解架构和工具我们了解到，Informatica有独立的repository Service，在安装Informatica之前先安装数据库，本人这里就使用SQL SERVER进行演示。1.安装SQL SERVER数据库由于手中电脑是WIN7系统，因此不可以安装高版本的SQL SERVER，我选用了SQL SERVER2012，详细安装过程详见...
2019-03-21 09:57:47
2276
原创 Informatica 了解架构和工具
一、首先谈下informatica架构1.Domain:是Power Center中所有服务器对象及服务对象的集合，最常见的对象包括节点、Integration Service、Repository Service、 Web Service Hub、 Grid等。它可以包括一个或者多个如上的对象。2.Node:它是事先物理服务器在PowerCenter架构中的逻辑名，事实上它是一系列的...
2019-03-21 09:41:21
9803
2
原创 Kettle 行转列
需求如下：需要将voterids列里的内容分成多行1. 新建一个转换，包含“表输入”、“列拆分为多行”、“表输出”、“删除”四个步骤，如下图所示。2. 设置好表输入和输出，然后列拆分为多行 设置如下3.因为voterids拆分出来的vv会有一个空行数据，因此使用 删除4.启动运行...
2019-03-20 17:23:36
1122
2
原创 Kettle 导入文件夹下的多个文件
收到的需求是这样的：在一个文件夹下有几百个文本文件，每个文件内容的格式相同，都是有固定分隔符的两列，每个文件有几千行记录。Kettle的转换处理数据流，其中有一个“文本文件输入”的输入对象，可以使用它在导入文件数据时添加上文件名字段，而且支持正则表达式同时获取多个文件名，正好适用此场景。下面为实现步骤。1. 新建一个转换，包含“获取文件名”、“拆分字段2”、“拆分字段”、“表输出”四个步骤...
2019-03-20 16:48:56
5243
1
转载 数据库中为什么不推荐使用外键约束
引言其实这个话题是老生常谈，很多人在工作中确实也不会使用外键。包括在阿里的JAVA规范中也有下面这一条【强制】不得使用外键与级联，一切外键概念必须在应用层解决。但是呢，询问他们原因，大多是这么回答的每次做DELETE 或者UPDATE都必须考虑外键约束，会导致开发的时候很痛苦,测试数据极为不方便。坦白说，这么说也是对的。但是呢，不够全面，所以开一文来详细说明。正文首先我...
2019-02-21 16:55:40
364
1
转载 数据库优化
第一阶段 优化sql和索引这才是调优的第一阶段啊，为什么呢？因为这一步成本最低啊，不需要加什么中间件。那步骤是什么样呢?我说个大概用慢查询日志定位执行效率低的SQL语句用explain分析SQL的执行计划确定问题，采取相应的优化措施，建立索引等第二阶段 使用缓存在优化sql无法解决问题的情况下，才考虑搭建缓存。毕竟你使用缓存的目的，就是将复杂的、耗时的、不常变的执行...
2019-02-21 16:55:06
164
原创 Oracle HWM 测试
1.重新获取统计信息declare begin DBMS_STATS.gather_table_stats('AA', 'T_TEST',degree => 3 , cascade => FALSE);end;2.创建一个procedure show_space 查看表空间中已经使用的块（字节），未使用的块（字节）create or replace proced...
2018-12-29 16:12:18
336
原创 ETL 表的增量数据同步
当表的数据越来越大时，就会考虑使用增量数据同步了。INSERT INTO T_TEMP_AA SELECT * FROM PROD.AA@ODS_PROD WHERE CREATED_AT >= TRUNC(SYSDATE) - 1;DELETE FROM T_ODS_AA T1 WHERE EXISTS(SELECT 1 FROM T_TEMP_AA T2 WHERE...
2018-12-29 09:21:01
1962
转载 数据库范式介绍（1NF,2NF,3NF,BC NF,4NF,5NF)
https://beginnersbook.com/2015/05/normalization-in-dbms/https://www.studytonight.com/dbms/database-normalization.php一、基本介绍 设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗...
2018-12-11 17:09:54
665
原创 Oracle: truncate table 的drop storage和reuse storage
1.Truncate drop storage行为Truncate数据表默认行为包括了drop storage参数。数据所在的extent空间被释放，剩下第一个extent，释放的空间可以供其它segment使用；test表中的index:数据删除，剩下第一个extent;test表的hwm:重新设置到第一个block的位置（hwm会改变） 2.Truncate reuse s...
2018-12-10 10:16:16
4524
转载 ORACLE AWR报告生成步骤
PLSQL AWR报告生成步骤1.sqlplus或plsql的commod窗口（命令窗口）运行命令@D:\oracle\product\10.2.0\db_1\RDBMS\ADMIN\awrrpt.sql; -- 具体地址，需要查询得到--然后在弹出的对话框中输入选择的导出格式html或者txt，一般用html，生成的报告用浏览器查看比较方便。 2.在弹出的对话框中输入数字...
2018-12-06 09:20:08
4232
原创 Oracle 查看活动的Session
--01:活动的session SELECT S.USERNAME, S.SID, S.SERIAL#, S.INST_ID, S.EVENT, S.WAIT_CLASS, S.SQL_EXEC_START, S.LOGON_TIME, S.ACTION, SQ.S...
2018-12-03 11:30:16
8869
原创 Oracle 查看SQL执行耗时
运行超长SQL监控SQL：select * from v$session_longops a where a.time_remaining>0 可以监控运行时间长的sql,可以大概评估时间只能看 有全表扫描的，或者hash jion的。 ...
2018-12-03 11:28:01
6397
转载 Oracle hint 详解
https://www.cnblogs.com/emilyyoucan/p/7844795.html https://blog.youkuaiyun.com/tmchongye/article/details/64389420
2018-11-15 16:24:22
782
转载 oracle的start with connect by prior如何使用
oracle的start with connect by prior是根据条件递归查询"树"，分为四种使用情况： 第一种：start with 子节点ID='...' connect by prior 子节点ID = 父节点ID 1 select * from mdm_organization o start with o.org_code='1000000...
2018-11-09 10:38:03
328
转载 【数据仓库】6. ETL 的设计
0x00 前言数据仓库体系里面的主要内容也写的差不多了，现在补一点之前遗漏的点。这一篇就来聊一下 ETL。文章结构先聊一下什么是 ETL。 聊一下大致的概念和一般意义上的理解。 聊一聊数据流是什么样子。因为 ETL 的工作主要会体现在一条条的数据处理流上，因此这里做一个说明。 举个具体的例子来说明。0x01 什么是 ETLETL，是英文 Extract-Transform-...
2018-11-01 14:30:50
2133
转载 【数据仓库】6.数据质量监控
0x00 前言往往那些不起眼的功能，最能毁掉你的工作成果。本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能，但是它确实至关重要的。文章结构数据质量监控的意义和价值就不再谈了，本文主要讨论下面三个主题： 数据质量监控要做哪些监控内容 该怎么做 数据校验 文中会涉及到数据仓库其它的一些知识点，请参考之前...
2018-11-01 14:21:09
5554
转载 【数据仓库】5.如何优雅地设计数据分层
0x00 前言一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层！其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。 数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。 数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得...
2018-11-01 13:49:00
866
转载 【数据仓库】4. 拉链表
0x00 前言过了半年时间，对数据仓库的理解又有了一些不同的认识，翻出来之前写的关于拉链表的内容，稍作修改重新发出来。本篇将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。内容全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的...
2018-11-01 13:37:50
1427
转载 【数据仓库】3.缓慢变化维度（SCD）
0x00 前言本文会分享数据仓库中和缓慢变化维度相关的内容。在看之前建议回顾一下和维度建模相关的知识点，可参考这篇：No.12 【漫谈数据仓库】维度建模。为什么会分享这个听起来很奇怪的东西？因为站在的笔者的视角中，只要是做数据仓库的小伙伴们，在工作中基本上都会接触和维度建模相关的内容，而谈到维度建模，就少不了会和维度表打交道。我们要谈的就是维度表相关的知识点。在正式开始之前，先解释一下...
2018-11-01 11:46:15
847
转载 【数据仓库】2.维度建模
0x00 前言前一篇已经对常用的几种数据模型做了简单的介绍，本篇主要对其中最常用的维度建模做一个深入的理解。0x01 什么是维度建模维度模型是数据仓库领域另一位大师 Ralph Kimball 所倡导，他的《The DataWarehouse Toolkit-The Complete Guide to Dimensona Modeling，中文名《数据仓库工具箱》，是数据仓库工程领域最...
2018-11-01 11:39:39
369
转载 【数据仓库】1.数据模型
0x00 前言翻出来之前零零散散写的数据仓库的内容，重新修正整理成一个系列，此为第一篇《数据模型》。数据仓库包含的内容很多，比如系统架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容： 以Hadoop、Spark、Hive等组件为中心的数据架构体系 调度系统、元数据系统、ETL系统这类辅助系统 各种数据建模方法，如维度建模 我们暂且不管数据仓库...
2018-11-01 11:18:03
336
原创 Hive-insert into table 与 insert overwrite table 区别
区分insert into 和 insert overowrite： 1、insert into 语句Hive> insert into table account select id,age,name from account_tmp;2、insert overwrite语句hive> insert overwrite table account2 select id,...
2018-11-01 10:32:27
41532
转载 JAVA积累
1.this和super https://www.cnblogs.com/hasse/p/5023392.html2.装箱和拆箱 https://www.cnblogs.com/dolphin0520/p/3780005.html3.public/private/protected的具体区别 https://zhidao.baidu.com/question/8...
2018-10-30 10:16:41
131
翻译 Neo4j系列-解读《权力的游戏》下
安装APOC 参考文章：https://mp.youkuaiyun.com/postedit/81907108图论知乎上讨论图论概念： https://www.zhihu.com/question/22610633 1.度中心性(Degree Centrality)即为某个节点在网络中的联结数。在《权力的游戏》网络中提利昂·兰尼斯特（Tyrion）和最多的角色有接触。MATCH...
2018-08-21 15:54:55
2123
原创 Neo4j系列-APOC存储过程库安装
APOC是Neo4j 3.3版本推出时正式推荐的一个Java存储过程包，里面包含丰富的函数和过程，作为对Cypher所不能提供的复杂图算法和数据操作功能的补充，APOC还具有使用灵活、高性能等优势。APOC介绍：https://blog.youkuaiyun.com/graphway/article/details/78957415APOC安装：1、下载与Neo4j相应版本的jar包：http...
2018-08-21 14:42:24
2818
1
翻译 Neo4j系列-解读《权力的游戏》上
1.导入数据在githut下载数据CSV文件：https://github.com/mathbeveridge/asoiaf/blob/master/data/asoiaf-all-edges.csv将其保存在当前库的import文件夹LOAD CSV WITH HEADERS FROM "file:///asoiaf-all-edges.csv" AS row MERGE (src...
2018-08-21 14:29:22
1752
原创 Neo4j系列-图分析
1、人物数量万事以简单开始。先看看上图上由有多少人物：MATCH (c:Person) RETURN count(c)2、概要统计统计每个角色接触的其它角色的数目：MATCH (c:person)-[:INTERACTS]->() WITH c, count(*) AS num RETURN min(num) AS min, max(num) AS max, ...
2018-08-20 17:36:26
4764
1
原创 Neo4j系列：Cypher(CQL)学习
Cypher语言是在学习Neo4j时用到数据库操作语言（DML），涵盖对图数据的增删改查neo4j数据库简单除暴理解的概念：Neo4j中不存在表的概念，只有两类：节点(Node)和关联(Relation)，可以简单理解为图里面的点和边。在数据查询中，节点一般用小括号()，关联用中括号[]。当然也隐含路径的概念，是用节点和关联表示的，如：(a)-[r]->(b)，表示一条从节点a经...
2018-08-17 17:42:05
806
原创 Neo4j:使用neo4j-import导入CSV数据
neo4j-import1.使用条件关闭neo4j 无法在原有数据库添加，只能重新生成一个数据库 导入文件格式为csv2.参数--into：数据库名称 --bad-tolerance：能容忍的错误数据条数（即超过指定条数程序直接挂掉），默认1000 --multiline-fields：是否允许多行插入（即有些换行的数据也可读取） --nodes：插入节点 --relat...
2018-08-17 16:33:08
31515
9
转载 Kettle 入门
一篇不错的Kettle入门文章https://blog.youkuaiyun.com/wuzhangweiss/article/details/78408029
2018-08-16 10:29:48
234
原创 Oracle：Pivot 和 Unpivot 转多列并包含多个名称
Pivot1、准备数据create table t_demo(id int,name varchar(20),nums int); ---- 创建表 insert into t_demo values(1, '苹果', 1000); insert into t_demo values(2, '苹果', 2000); insert into t_demo values(3, ...
2018-08-16 09:57:41
16611
3
原创 oracle 杀进程
1、查看锁表进程--1.查看锁表进程SQL语句select sess.sid, sess.serial#, lo.oracle_username, lo.os_user_name, ao.object_name, lo.locked_mode from v$locked_object lo, dba_objects ao...
2018-08-16 08:55:34
8871
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人