- 博客(53)
- 资源 (37)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 常用命令
1、替换：sed -i 's/'" G "'/'"G"'/g' a.txt2、tee：在输出到文件的同时，也把信息显示到屏幕上输出。 如：echo "aaaaaa"|tee -a 1.log who|tee 2.log3、grep -ic 'error' 1.log --文件中error的数目，不区分大小写...
2020-08-19 15:34:33
160
原创 随写笔记
1、关于linux的空格分隔：结论：按1个空格分隔的话，可以连续任意多个空格当做一个看待；按两个空格的话就只能是实际空格看待了。 [root@hadoopm ~]#more ss.txt #注：字母间隔分别为1、2、3、4、5个空格 a b c d e g#测试单个空格分隔：[root@hadoopm ~]#awk -F ' ' '{print $1}' ss.txt a[root@hadoopm ~]#awk -F ' ' '...
2020-08-19 14:54:02
192
原创 perl通过ODBC连接greenplum
网上这方面的资料很少，而且也不新，我这个刚写的，应该是最新的了吧，见正文吧：需要安装的有3个:PROGRESS_DATADIRECT_ODBC_GREENPLUM_LINUX_64.tar.Z（greenplum的ODBC驱动程序）DBD-ODBC-1.58.tar.gz （perl的ODBC模块）DBI-1.641.tar.gz （perl的API模块），因为之前已经安装，...
2018-06-02 14:06:24
1950
2
转载 linux下杀死进程（kill）的N种方法
常规篇： 首先，用ps查看进程，方法如下：$ ps -ef……smx 1822 1 0 11:38 ? 00:00:49 gnome-terminalsmx 1823 1822 0 11:38 ? 00:00:00 gnome-pty-helpersmx 1824 1822 0 11:38 pts/0 00:0...
2018-04-17 10:18:02
3186
原创 识别低效SQL
识别低效SQL ★ 返回行与逻辑读比率； ★ 评估值准确的重要性； ★ 隐式类型转换需认真关注； ★ 请小心递归调用部分； ★ 表的访问次数需敏感； ★ 注意表真实访问行数； ★ 谨慎的观察排序与否。还有的原因，如：水平位过高 解决办法： 1、返回行与逻辑读比率一般而言，每获取一行开销5个以下的逻辑读是属于基本比较满意的。 发现问题方法有如下两种： √ ...
2018-04-10 10:36:07
588
原创 eclipse开启远程调试
应用启动：nohup java -jar -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005 platform-sqoop-1.0.0-SNAPSHOT.jar >/soft/sqooplog.log &
2018-04-10 10:08:26
485
原创 percona-toolkit工具包的使用【连载】
percona-toolkit是一组高级命令行工具的集合，用来执行各种通过手工执行非常复杂和麻烦的mysql任务和系统任务，这些任务包括： 检查master和slave数据的一致性 有效地对记录进行归档 查找重复的索引 对服务器信息进行汇总 分析来自日志和tcpdump的查询 当系统出问题的时候收集重要的系统信息主要包括开发、性能、配置、监控、复制、系统、实用六大类。
2017-06-23 16:32:20
563
原创 keepalived与mysql的简易配置
一、keepalived简介keepalived是Linux下一个轻量级的高可用解决方案，keepalived主要通过虚拟路由冗余（VRRP）来实现高可用功能，防止因为单点故障导致整个系统架构的不可用的发生。可以实现诸如“服务器状态检测”、“故障隔离”、“高可用集群”的功能。keepalived最主要的目的是能够自己调用ipvsadm命令来生成规则，并且能够自动实现将用户需求的访问地址转移
2017-05-26 15:32:22
744
原创 linux安装mysql数据库
linux安装mysql数据库环境如下：Linux：CentOS release 6.7(Final) 64位Mysql：mysql-5.6.31-linux-glibc2.5-x86_64.tar.gz 1、查看是否已经安装rpm -qa | grep -i mysql2、卸载rpm -ev mysql-libs-5.1.73-5.el6_6.x86_
2017-05-26 15:09:21
796
原创 批处理数据同步脚本
批处理真不好写~，现把成果粘贴出来留个纪念~~~@echo offrem =======================================================================rem = ① 本批处理实现目录数据的导出 ---20160816 =rem ======================
2016-08-17 10:34:00
1086
原创 遇到的问题汇总
1、在通过eclipse 打包项目时（maven build package），报错误：“Fatal error compiling: 无效的目标发行版: 1.8 -> [Help 1]”，按网上的方法如更改编译jdk版本等等，也不见成效，本人安装了三个jdk版本6、7、8，项目原本是8下开发的，6和7是调试其他程序而安装的，所以没有在意，当把6和7卸载后，问题消失！
2016-07-27 16:26:29
377
原创 ckeditor的配置使用（已验证通过）
第一步：把软件下载解压到WebRoot目录下；第二步：把三个jar包引入到工程中，ckeditor-java-core-3.5.3-javadoc.jar，ckeditor-java-core-3.5.3-sources.jar，ckeditor-java-core-3.5.3.jar；第三步：创建页面，代码编写如下：1、在页面头部引入标签： 2、使用标签设置软件路
2016-07-23 16:10:02
922
原创 kettle日志添加字段的源码修改
LogTableInterface.java(/kettle4.2/src-db/org/pentaho/di/core/logging/LogTableInterface.java)73、74行添加接口方法：//增加jobName参数 mengshanfeng public RowMetaAndDatagetLogRecord(LogStatus status, Object
2016-07-13 14:17:24
4221
原创 jpa里调用存储过程
本人要调用的存储过程有返回值，如下：create or replace procedure p_bakuplog(flag in out varchar2)is------------------------------------------------------------------------------------------------ 作 者:mengpaopao
2016-07-07 16:07:12
7968
原创 调用kettle api传参时不赋值的解决方法
在生成的xml文件中默认指定了一个初始化参数值，然后在run时动态传入实际值，却不起作用，纠结了老多时间，终于发现解决法了。过程阐述如下，做一个记录，也为遇到同样问题的朋友提供帮助。在生成job文件时，设置一个参数，并附默认值，代码如下：// 若为增量，需要添加增量参数 if (incr != null && incr.equals("1")) { try { jobM
2016-07-05 17:23:24
1981
原创 job的执行
示例代码/*** 执行job* * @param jobName* @return*/@Asyncpublic void runJob(String jobName) {JobMeta jobMeta = null;jobMeta = new JobMeta(path + jobName + ".kjb", null);LOGGER.
2016-06-21 12:33:20
701
原创 ExecSQLMeta组件API的使用
做增量时少不了这个组件，先删除目标表数据，这个组件需要注意到的一个地方是，参数的替换，对应的方法是：execSQLMeta.setVariableReplacementActive(true);也不能少了execSQLMeta.setDefault();否则会报错。
2016-06-21 12:23:14
808
转载 Spring MVC 学习笔记（二）：@RequestMapping用法详解
主要介绍有关注解@RequestMapping的用法及用的过程中可能出现的问题一、@RequestMapping 简介在Spring MVC 中使用 @RequestMapping 来映射请求，也就是通过它来指定控制器可以处理哪些URL请求，相当于Servlet中在web.xml中配置servlet> servlet-name>servletNameservlet-
2016-06-01 19:04:15
1248
转载 Spring mvc中@RequestMapping 6个基本用法小结
小结下spring mvc中的@RequestMapping的用法。 1）最基本的，方法级别上应用，例如： Java代码 @RequestMapping(value="/departments") public String simplePattern(){ System.out.println("simplePattern method
2016-06-01 18:57:57
311
原创 getDeclaredMethod、invoke的使用
工作中遇到了暂且做个记录，有时间深入了解下。。。。getDeclaredMethod：返回方法对象；invoke：简单理解就是在不知道对象的前提下，通过配置的参数来调用方法 网上还有一个解释：就是调用类中的方法，最简单的用法是可以把方法参数化invoke(class, method)比如你Test类里有一系列名字相似的方法setValue1、set
2016-06-01 18:26:29
6233
原创 通过json发送Http请求
package com.jusfoun;public class StartReq { private String path; private String jobname; public String getPath() { return path; } public void setPath(String path) { this.path = path; }
2016-05-30 11:43:44
2035
原创 日志的定义
日志的定义 //定义日志 //定义变量 VariableSpace space = new Variables(); //将日志数据库配置名加入到变量集中 space.setVariable("transloging",resource.get(2).getResource_name()); space.initializeVariablesFrom(nul
2016-05-30 11:38:46
1883
原创 kettle的api开发
最近工作需要研究了下kettle的api开发，遇到问题不少，也逐个解决了。接下来分篇总结这次的研究成果。这篇就作为一个序言吧！我们项目的要求是脱离kettle工具进行设计开发，所有配置在前端完成，然后调用运行，鉴于跨平台，所有转换保存为xml文件。其他的一些日志则存储在自己的中心库里。之后肯定会完善功能，当前只需完成如上需求即可。
2016-05-24 14:03:16
8235
转载 堆表和索引组织表区别
堆表（heap table）数据插入时时存储位置是随机的，主要是数据库内部块的空闲情况决定，获取数据是按照命中率计算，全表扫表时不见得先插入的数据先查到。索引表（iot）数据存储是把表按照索引的方式存储的，数据是有序的，数据的位置是预先定好的，与插入的顺序没有关系。索引表的查询效率逼堆表高（相当于查询索引的效率），插入数据的速度比堆表慢。索引表适用场景：适用于信息检索、空间和OLA
2014-03-26 15:09:24
1439
转载 redo与undo
redo（重做信息）是Oracle在在线（或归档）重做日志文件中记录的信息，万一出现失败时可以利用这些数据来“重放”（或重做）事务。 Oracle维护着两类重做日志文件：在线（online）重做日志文件和归档（archived）重做日志文件。 数据库所在主机掉电，导致实例失败，Oracle会使用在线重做日志将系统恰好恢复到掉电之前的那个时间点。 如果磁盘驱动器出现故障（这是一个介质失败
2013-09-09 15:55:37
781
转载 LOGIC IO(逻辑读次数）= db block gets + consistent gets
LOGIC IO(逻辑读次数）= db block gets + consistent getsconsistent get : 在一致读模式下所读的快数，包括从回滚段读的快数。 db block gets ： 在当前读模式下所读的快数，比较少和特殊，例如数据字典数据获取，在DML中，更改或删除数据是要用到当前读模式。consistent gets : 通过不带for upda
2013-09-09 14:56:27
1080
转载 用EXCLE把汉字转化成拼音
Function getpychar(char)tmp = 65536 + Asc(char)If (tmp >= 45217 And tmp getpychar = "A"ElseIf (tmp >= 45253 And tmp getpychar = "B"ElseIf (tmp >= 45761 And tmp getpychar = "C"ElseIf (t
2012-08-29 15:24:41
2466
转载 linux命令之sort
sort是在Linux里非常常用的一个命令，管排序的，集中精力，五分钟搞定sort，现在开始！1 sort的工作原理sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。[rocrocket@rocrocket programming]$ cat seq.txtbananaapplepearoran
2012-08-29 14:25:28
607
转载 [ETL] applied rows and affected rows
Applied Rows For sources, shows the number of rows the Integration Service successfully read from the source. For targets, shows the number of rows the Integration Service successfully applied to the
2012-08-23 17:50:11
871
转载 IDENTIFYING AND NON-IDENTIFYING RELATIONSHIPS
=================================================================== 简单翻译了一下(蓝色), 如果其中有错误 OR 不足之处, 完全不用客气, 请指出~原文参考: http://blog.youkuaiyun.com/dbigbear/article/details/2116771=====================
2012-07-26 10:26:40
3814
原创 【ETL】拉链表算法
拉链表算法所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。 算法：（拉链表算法其实就是以前遇到过的缓慢变化维的其中一种情况，用存储过程实现的话稍微麻烦点。）1采集当日全量数据到ND(NewDay)表；2可从历史表中取出昨日全量数据存储到OD(OldDay)表;3(ND-OD)就是当日新增和变化的数据，也就是当天的增量，用W_I
2012-04-23 21:13:25
11998
3
原创 【Oracle】Oracle 细节注意笔记
1、11g里新建的表不分配segment。不占用实际空间，除非使用过。否则exp不出此表。这是11g的新特性。2、一种“无效字符”错误的情况： 3、持续增加。。。
2012-04-23 20:55:00
1650
转载 BI中事实表和维度表的定义
一个典型的例子是，把逻辑业务比作一个立方体，产品维、时间维、地点维分别作为不同的坐标轴，而坐标轴的交点就是一个具体的事实。也就是说事实表是多个维度表的一个交点。而维度表是分析事实的一个窗口。 首先介绍下数据库结构中的星型结构，该结构在位于结构中心的单个事实数据表中维护数据，其它维度数据存储在维度表中。每个维度表与事实数据表直接相关，且通常通过一个键联接到事实数据表中。星型架构
2012-04-15 15:29:50
29859
转载 extjs自定义事件
使用自定义事件分四步：1 先定义一个类，为这个类增加事件，2将这个类继承为Ext.util.Observable的子类，也就是扩展Ext.extend('','')3为这个类的实例中的这个事件绑定处理函数4 用fireEvent激发这个事件 网友实例讲解：事件是指一个特定的动作，这个动作可以针对HTML元素的，如keydown,keyup,mouseover, mouseo
2012-01-30 09:41:58
2197
转载 extJs 2.0学习笔记(事件注册总结篇)
本来，我也没把这档子事放在眼里，因为简单，例如： Ext.get("elem").on("click",{fn:function(){alert("此元素被单击了！");}}; 这样的代码谁不会写啊。一个on就了结了。但是，今天，我在研究Ext.Panel的tbar时，发现，那现工具栏按钮的事件注册不一样： 元素注册、组件注册都是：{fn:……} 工具栏按钮的事件注册：{h
2012-01-30 09:32:05
952
转载 extjs 问题集锦 好贴 转
Ext分页的时候load(params:{start:0, limit:10}); start是第几条开始，limit表示取几条。对于分页工具条，它内部会计算start这个数据然后发到后台。它从上一次的start值加上pageSize的值，做为这次的start的值。但要注意的是，要有正确的页数，不然就会出现小毛病。对于页数，在后台返回的数据中，必须要有记录总数，做为grid
2012-01-30 09:31:13
1912
转载 [ExtJS]数据解析器
ExtJS中提供了读取二维数组、JSon数据及Xml文档的三种数据解析器，分别用于把内存中的二级数组、JSON格式的数据及XML文档信息解析成记录集。1）ArrayReader这里定义的myReader可以读取下面的二维数组： [[1,'测试','小王',3],[2,'新年好','williamraym',13]] V
2011-10-26 17:52:26
738
原创 [flex]点语法汇总
点语法汇总1、一点（.）：略。2、两点（..）：又称为后裔访问符（the descendent accessor），访问当前元素的所有子元素(包括不同层级)。var myXML:XML =
2011-08-06 11:36:48
580
lecco sql expert for oracle v3.2 连接Oracle 10g 时，需进行的步骤
2011-12-16
lecco sql expert for oracle v3.2 能用版本，测试通过
2011-12-16
傻瓜rmvb、rm格式视频切割软件，附带格式转化
2011-11-05
C#的学习与资料合集(包含三个文件夹，课件and例子，很全，很好)
2010-10-17
北大青鸟 LINUX PPT 20090114课件
2010-10-17
JAVAEE系列笔记3.pdf
2010-09-22
JAVAEE系列笔记2JAVAEE系列笔记2
2010-09-22
jspsmart.upload chm
2010-04-17
对 Flink中 watermark的使用场景疑问
2022-08-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人