- 博客(224)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL
查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL这个默认界面只能看到这个 Job 相关 SQL 的缩略版，没法看到完整的 SQL 很是蛋疼。但最近发现只要点到 Configuration 里搜索 query.string，就能看到完整版了。我不会是最后一个知道的吧？...
2019-05-27 14:04:52
3308
2
原创 记一次神奇的 MapReduce OOM
背景使用 HiBench 对 CDH 集群中各个组件进行基准测试（HiBench的使用这里不过多赘述）。由于最初 conf/hibench.conf 文件中配置的 hibench.scale.profile (影响数据规模的参数) 为 huge， hibench.default.map.parallelism & hibench.default.shuffle.parallelism ...
2018-06-08 16:20:50
1475
1
原创 Oracle压缩黑科技（二）--压缩数据的修改
原文链接：https://www.red-gate.com/simple-talk/sql/oracle/compression-in-oracle-part-2-read-only-data/在本系列的第一篇文章中，我们看到了只有在直接路径加载、CTAS(create table as select)和”alter table move”时，基础表压缩机制才可以生效。同时当表启用了压缩时，Orac
2017-12-21 16:35:12
771
原创 Oracle压缩黑科技（一）--基础表压缩
在关于Oracle压缩的这一系列文章中，我们会研究下传统Oracle数据库系统的各类压缩方式，这意味着该系列文章的目录结构大概是：1. 基础表压缩 2. OLTP表压缩 3. 索引压缩。但是，不讨论Exadat
2017-12-21 16:34:23
4700
原创 【Oracle 12c 多租户专题】PDB的内存资源管理
原文链接：https://oracle-base.com/articles/12c/multitenant-memory-resource-management-for-pdbs-12cr2在12.2之前的版本，我们根本没有办法控制一个单独的PDB能使用的内存总量。导致的结果就是“一个糟糕的邻居”可能占用大量内存从而导致同一个实例下其他PDB的性能下降。在Oracle 12.2中，你可以控制某单个P
2017-09-15 14:14:13
2151
原创 【Oracle 12c ASM专题】Flex磁盘组到底有多flexible？
原文链接：https://martincarstenbach.wordpress.com/2017/08/22/12-2-new-feature-the-flex-asm-disk-group-part-4/Flex Disk Group属性前三部分我分享了关于ASM Flex Disk Group、File Group和Quota Group如何强制对存储空间进行限制的实验结果。但是我还没有测试修
2017-09-15 14:13:35
1292
转载 Git 里面的 origin 到底代表啥意思?
作者：田雅文 链接：https://www.zhihu.com/question/27712995/answer/39946123 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
2017-08-29 17:40:05
21569
4
原创 【Oracle 12c ASM专题】配额组的配额真的管用吗？
原文连接：https://martincarstenbach.wordpress.com/2017/07/21/12-2-new-feature-the-flex-asm-disk-group-part-3/本专题的上一部分中，我介绍了Flex ASM Diskgroup的两个相关概念，配额组和文件组。但配额组的配额是否真的写多少就是多少呢？（还是超出个百分之多少也没关系）我对此非常好奇。幸运的是，
2017-08-25 11:03:16
544
原创 【Oracle 12c ASM专题】Flex Diskgroup相关概念
在上一部分中，我讲了一些基础知识和人们使用ASM Flex Diskgroup一般想达到的目的。这一部分我将介绍一些Flex Diskgroup的相关新概念。Flex ASM Diskgroup相关新概念当Flex Diskgroup挂载之后，下一步就是创建一些新的实体（这里的实体指文件组和配额组等）了。首先，需要创建配额组（quota group），顾名思义，配额组可以给组内的实体设定配额（存储空
2017-08-10 11:34:34
875
原创 常见数学符号
大写 小写 英文注音 国际音标注音 中文注音 Α α alpha alfa 阿耳法 Β β beta beta 贝塔 Γ γ gamma gamma 伽马 Δ δ deta delta 德耳塔 Ε ε epsilon epsilon 艾普西隆 Ζ ζ zeta zeta 截塔 Η η eta eta 艾塔 Θ θ theta θita 西塔 Ι
2017-08-06 15:21:24
3226
原创 【Oracle 12c ASM专题】我的第一个Flex Diskgroup
原文链接： https://martincarstenbach.wordpress.com/2017/07/06/12-2-new-feature-the-flex-asm-disk-group-part-1/之前我都是从其他分享者那里了解了12.2的flex diskgroup，但直到现在我都没能亲自探索下它有多cool。我相信它真的非常cool而且很值得拿出来分享下。关于这个特性和下面这些测试
2017-08-03 15:06:11
810
原创 【Oracle 12c Flex Cluster专题】节点角色转换
笔者上一篇译文中在介绍Leaf Node时提到， 虽然leaf node不要求直接访问共享存储，但最好还是连上共享存储，因为说不准未来哪天就要把这个leaf node转为hub node使用。 其实这样的说法并不够准确，在12cR1时，leaf node上是无法运行只读数据库实例的，这时不连接共享存储完全不影响其使用。而12cR2的leaf node是可以运行只读数据库实例的，一旦leaf no
2017-07-27 18:05:18
1216
原创 【Oracle 12c Flex Cluster专题】Leaf Node的故障迁移
原文链接：http://allthingsoracle.com/oracle-flex-cluster-leaf-node-failover/Oracle 在12c中使用hub-and-spoken技术实现了flex cluster的功能(即RAC集群中的每个节点不再需要既运行ASM实例又运行DB实例，各节点可以扮演不同的角色)。相比12c以前的版本，该功能使集群规模的扩大和缩减变得更加靠谱。原因如
2017-07-19 22:02:56
689
原创 Oracle 隐含参数查询
SELECT ksppinm, ksppstvl, ksppdesc FROM x$ksppi x, x$ksppcv y WHERE x.indx = y.indx AND ksppinm = '_gc_policy_time';
2017-03-20 14:33:41
602
原创 Oracle RAC SCAN NAME域名解析服务精简版配置
安装依赖包：yum install bind* 配置/etc/named.conf[root@dg01 ~]# cat /etc/named.conf //// named.conf//// Provided by Red Hat bind package to configure the ISC BIND named(8) DNS// server as a
2017-03-11 20:59:05
2248
转载 Makefile 中:= ?= += =的区别
http://www.cnblogs.com/wanqieddy/archive/2011/09/21/2184257.html在Makefile中我们经常看到 = := ?= +=这几个赋值运算符，那么他们有什么区别呢？我们来做个简单的实验新建一个Makefile，内容为：ifdef DEFINE_VRE VRE = “Hello World!”else
2017-02-24 15:22:37
349
转载 ORA-15025: could not open disk "/dev/asm***"
Symptoms:打完补丁后，数据库报错ORA-15025，数据库无法启动.alert日志信息：Wed Jul22 16:26:57 2015ORA-15025:could not open disk "/dev/12casm-diskb"ORA-27041:unable to open fileLinux-x86_64Error: 13: Permissi
2017-02-07 15:33:04
1349
转载 CRS-2409:The clock on host is not synchronous with the mean cluster time
Oracle Server - Enterprise Edition - Version 11.2.0.1 to 11.2.0.1 [Release 11.2]Information in this document applies to any platform.SYMPTOMSCTSSD runs in observer mode even though no time sync
2017-02-07 13:50:36
4119
原创 IDA逆向常用宏定义
/* This file contains definitions used by the Hex-Rays decompiler output. It has type definitions and convenience macros to make the output more readable. Copyright (c) 2007-2011 Hex-Ray
2016-12-09 15:57:51
2567
转载 脚本调用ssh后出现Pseudo-terminal will not be allocated because stdin is not a terminal
原帖地址:http://blog.youkuaiyun.com/annicybc/article/details/3216041在最近一个刚刚完成的项目中，我们使用了SSH远程login到指定的服务器，在command模式下直接ssh + IP就可以了（通过设置不需要用户密码），如：ssh 10.22.19.54，使用exit退出到本机服务。为了完成一些自动化的工作，我将这段代码通过如下SHELL方式
2016-12-09 14:21:16
4301
原创 miui8删除应用商店不卡米
本贴内容是miui7~8删除应用商店不卡米教程！以前的教程距现在也有很长的时间！我只是根据我所理解的，再次讲述一个方法,过程！我承认此贴基于“http://bbs.mydigit.cn/read.php?tid=1369828”请行家无视，小白不喜勿喷！我也看过那位大神的教程，看完后！大概有了头绪！首先决定文件是services.jar，代码主要认证3个apk文件的包名！也就是说只要把那三个包
2016-12-06 20:55:27
11989
原创 pv lv vg代表的意义
PV 物理卷（physical volume） lv 逻辑卷（logical volume）vg 卷组（Volume Group）
2016-11-28 16:25:46
2714
原创 RAID管理工具 -- MegaCli常用命令
#查raid卡信息（生产商、电池信息及所支持的raid级别）/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL |grep -E "Product Name|BBU|Memory Size|RAID Level Supported"#查看虚拟化（vd）和物理盘（pd）的信息，比如查看物理硬盘数，是否有硬盘offline或者degrad
2016-11-25 10:54:48
12362
1
原创 反编译python的pyc/pyo字节码文件
github项目：点击打开链接运行环境需要python2.7，可以反编译2.5-2.7的python字节码。下载项目后执行python setup.py install即可（执行该命令输出的内容会告诉你名为uncompyle2的脚本的具体路径）通过dos命令进行反编译：python C:\Users\Administrator\Anaconda2\Scripts\uncompyle
2016-11-22 10:16:14
4425
原创 PostgreSQL 去除字符串中的不可见字符 终极方法
测试表中数据如下：postgres=# select * from test; street ---------- 澄江街道 澄江街道(2 行记录)然后我们执行如下sql：postgres=# select * from test where street='澄江街道'; street ---------- 澄江街道(1 行记录)问题已经暴露，明明两条‘
2016-11-02 16:57:49
6806
原创 Oracle GoldenGate 安装配置全记录
1 安装OGG1.1 上传OGG压缩包解压压缩包 1.2 配置环境变量.bash_profile中添加如下内容export LD_LIBRARY_PATH=$ORACLE_HOME/lib 1.3 创建OGG工作目录GGSCI (rac01) 3> create subdirs Creating subdirectories under current
2016-11-01 15:27:18
1449
原创 OGG 故障排除
当启动replication时，OGG总是去执行那个错误的事务时，跳过错误的事务。start rep rep01 skiptransaction
2016-11-01 12:54:20
1191
原创 Oracle GoldenGate add trandata的意义所在
如果不执行add trandata，insert同步没有问题（ORACLE数据库），但是在同步update或delete操作时，就会因为丢失主键报同步错误。不开启表级的最小附加日志，update的redo信息不记录没有进行更新的字段信息，如主键不更新的话主键不记录在redo中，所以会导致同步失败。像这样：2016-11-01 11:15:59 WARNING OGG-01003 Oracl
2016-11-01 11:20:30
4692
原创 Spark1.5的一个bug
>>> 16/10/15 20:07:35 INFO YarnClientSchedulerBackend: Requesting to kill executor(s) 116/10/15 20:07:35 INFO ExecutorAllocationManager: Removing executor 1 because it has been idle for 60 seconds (n
2016-10-27 16:34:25
1615
原创 创建DataGuard为什么要开启force logging
日志记录模式(LOGGING 、FORCE LOGGING 、NOLOGGING)三者的含义LOGGING：当创建一个数据库对象时将记录日志信息到联机重做日志文件。LOGGING实际上是对象的一个属性，用来表示在创建对象时是否记录REDO日志，包括在做DML时是否记录REDO日志。一般表上不建议使用NOLOGGING,在创建索引或做大量数据导入时，可以使用NOLOGGING 。FO
2016-10-13 15:42:43
1507
原创 ASM 故障组概念
一份数据在一个故障组中是唯一的镜像是以区为单位，所以不要假象某磁盘和某磁盘是镜像关系数据是随机的、尽量平均的分散到各个故障组中一个故障组中，不管有多少个磁盘，都可以把它当成一大块逻辑磁盘这个例子应该能说明“冗余度和故障组个数是两个分裂的概念”比如故障组的数量恒定为3（数字1-6代表一区一区的数据）extenal redundancyFG1：1 4FG2：
2016-10-13 13:08:41
1712
转载 数据库in/exists用法和效率大揭密
之前没注意到这两者的差别。其实，这里还是有一定的陷阱的。先看下代码：[java] view plain copy select count(*) from ( ( select sc.xh from "JISUANJI"."STUDENTCHECK" sc ) union ( select stu.XH as xh from "JI
2016-10-09 14:48:38
895
原创 动态显示impala sql的执行进度
[bd103:21000] > set live_progress=true;LIVE_PROGRESS set to true
2016-09-28 17:34:33
4647
原创 Greenplum删除segment节点
1 备份数据库[gpadmin@hadoop02 ~]$ gp_dump --gp-d=/home/gpadmin/backup tutorial20160928:14:41:34|gp_dump-[INFO]:-Read params: 20160928:14:41:34|gp_dump-[INFO]:-Command line options analyzed.20160928:14
2016-09-28 17:33:33
6950
1
原创 Greenplum添加segment节点
注意：如果master配置了standby master，添加的segment必须要有mirror segment存在，否则报错。1 查看某张表的数据分布情况tutorial=# select gp_segment_id, count(*) from otp_r group by gp_segment_id; gp_segment_id | count ------------
2016-09-28 17:23:37
6575
原创 一个根据所给资源自动配置CDH中Hadoop等参数的工具
Python的名字为：cdh_auto_configuration.py，完整内容如下：#!/usr/bin/env pythonimport optparsefrom pprint import pprintimport loggingimport sysimport mathimport ast''' Reserved for OS + DN + NM, Map:
2016-09-21 10:57:02
548
原创 关于hive和impala互为前后台的两个坑
Impala 与 Hive 之间互为前后台 有时候你会发现，切换到 Hive 执行下数据加载或转换操作比较方便，特别是处理如 RCFile, SequenceFile, 和 Avro 等这些 Impala 暂时只支持查询不支持写入的数据文件格式无论你在 Hive 中 create, drop, 或 alter 了一个表或其他对象，当切换回 impala-shell 时，立即执行一个 I
2016-09-21 10:17:17
3362
hyperledger-fabric-linux-amd64-1.1.0.tar.gz
2018-03-19
hyperledger-fabric-ca-linux-amd64-1.1.0.tar.gz
2018-03-19
操作系统以及数据库风险评估报告
2015-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人