- 博客(16)
- 资源 (28)
- 收藏
- 关注
原创 hadoop 集群调度 Azkaban2搭建
介绍Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点:Web用户界面方便上传工作流方便设置任务之间的关系调度工作流认证/授权(权限的工作)能够杀死并...
2014-05-22 16:14:42
171
原创 hadoop 2.0 chd4.4.0安装
序号 主机IP 主机名称(root/redhat) 远程管理IP 远程管理帐号口令1 192.168.101.120 cup-slave-4 192.168.101.150 user1/hadoop1232 192.168.101.121 cup-slave-1 192.168.101.151 user1/hadoop1233 192.168.101.122 cup-master-...
2014-02-09 17:42:27
1143
原创 awk替换
awk操作多个文件ARGIND==1 时,处理第一个加发的文件,将文件的三列分别放到数组a b c 中.其中数组a中存放的内容与文件2的$5相关联,并将文件1中的唯一id做为数组的下标在读取第二个文件时,对每条记录进行判断.#!/bin/shawk -F'|' 'BEGIN{}OFS="|";ARGIND==1{a[$1]=$1;b[$1]=$2;c[$1]=$3}...
2013-07-23 13:37:50
211
原创 awk去掉重复记录
awk '!a[$0]++' xhyt_app_001.txt说明:!a[$0]++将每一行以数组下标形式存入数组中从0开始,有相同的加1,并取非.date +"%Y-%m-%d %H:%M:%S" && awk '!a[$0]++' xhyt_app_001.txt > app.txt && date +"%Y-%m-%d %H:%M:%S" && mv xhyt_app...
2013-07-20 16:48:37
189
原创 awk中按文件大小分解文件并重命名
由于处理数据过于庞大,需要规定文件大小,此文中文件大小按过滤的记录是有效性进行划分.if(NR % 57000000 ==0){ url_filename=file_name_everyone"_"NR"_url.txt"; noice_filename=file_name_everyone"_"NR"_noice.txt"; app_filename=file_name_e...
2013-06-18 14:26:42
287
原创 Linux 命令行里的“瑞士军刀”
本文转载自: 外刊IT评论 http://www.aqee.net/ 这里说的“瑞士军刀”是指那些简单的一句命令就能完成其它高级语言一大片代码才能完成的工作。下面的这些内容是Quora网站上Joshua Levy网友的总结:通 过sort/uniq获取文件内容的交集、合集和不同之处:假设有a、b两个文本文件,文件本身已经去除了重复内容。下面是效率最高的方法,可以处理任何 体...
2013-06-08 09:19:17
135
原创 .sh 方式调用awk及一些常规信息处理
awkshtest.sh 内容如下:#!/bin/shawk -F, 'BEGIN{OFS=",";print "......解析文件开始........"} END{print "......解析文件结束......"}ARGIND==1{a[$1]=$1} #将t_mobile.txt漫游用户存入数组 a中ARGIND==2{b[$1]=$1} #将t_plan_user.tx...
2013-06-03 12:39:57
251
原创 My SQL 常用函数
一、数学函数ABS(x) 返回x的绝对值BIN(x) 返回x的二进制(OCT返回八进制,HEX返回十六进制)CEILING(x) 返回大于x的最小整数值EXP(x) 返回值e(自然对数的底)的x次方FLOOR(x) 返回小于x的最大整数值GREATEST(...
2013-04-01 23:03:54
173
原创 Eclipse3.8安装axis2插件 异常解决 java.lang.reflect.InvocationTargetException
eclipse3.8安装axis2 插件时出现An error occurred while completing process -java.lang.reflect.InvocationTargetException 异常.提供如下二种解决办法:第一种:更换axis2的插件版本,换到1.3可以解决此问题第二种:(推荐)1.axis2插件版本为:1.6.22.复制jdk1.6...
2013-03-14 09:03:45
310
原创 axis2 搭建webservice
准备工作:1.下载axis2相关文件 http://www.apache.org/dist//axis/axis2/java/core/1.6.1/下载: 1.6.1-bin.zip,axis2-1.6.1-war.zip下载:二个相应的插件2.解压axis2-1.6.1-war.zip,将axis2.war复制到tomcat/webaps目录下3.解压axis2-1....
2013-01-29 09:15:58
157
原创 oracle 随机取数
select a.machine_name 平台名, b.mm_pct 内存使用率, c.mc_pct CPU使用率, d.md_pct 磁盘使用率 from rt_machine sample ( 5 ) a, rt_monitor_memory sample ( 5 ) b,...
2012-11-23 14:09:05
151
原创 CKeditor 与 CKFinfer整合
CKeditor 下载地址:http://ckeditor.com/download 请下载 java版地CKfinder 下载地址:http://ckfinder.com/download 也是java版地首先配置 CKeditor ,从 FCKeditor 升级到CKeditor后 简单了很多,几步搞定1.先下载好的文件,复制到Web-Root下,另不另加一个文件夹,随自己喜欢...
2012-08-27 16:23:51
143
原创 window.showModalDialog给父窗口赋值
window.open 打开窗口时,可以很轻松的取得其父窗口。项目中需要用 showModalDialog打开窗口,想要取得父窗口值,而且还要在 open的基础上修改 为了不让 window.returnValue 所返回的值不是那么烦索,就要想办法如何用showModalDialog 打开的窗口取得其父窗口。何理利用 showModalDialog 传入的参数便可以解决这个问题。...
2012-08-22 10:21:10
442
原创 DIV动态创建与删除
JS添加方法:function copySelectInfo(v){ var copyInfoHtml ='<div id="newDiv'+v+'">逻辑关系:'; copyInfoHtml +='<select name="whereGuanXi">' ; copyInfoHtml +='<option value=" AND ">与(AN..
2012-08-22 10:17:27
180
原创 Myeclipse高亮显示变量、方法等信息
依次点击 window ->Preferences->java->Editor-> Mark Occurrences 如下图:自己对想要高亮的标记打勾! 在工具栏上也有相应图标:点上即可!
2012-08-14 15:12:55
162
MyEclipse快捷键与插件大全
(1)Ctrl+M切换窗口的大小(2)Ctrl+Q跳到最后一次的编辑处(3)F2当鼠标放在一个标记处出现Tooltip时候按F2则把鼠标移开时Tooltip还会显示即Show Tooltip Description。F3跳到声明或定义的地方。F5单步调试进入函数内部。F6单步调试不进入函数内部,如果装了金山词霸2006则要把“取词开关”的快捷键改成其他的。F7由函数内部返回...
2008-01-29 15:10:35
103
AxureUX WEB前后端交互原型通用元件库 v3
2022-07-01
scratch3.0编程_30初中级+ 5 级节高级课.zip
2021-05-18
linux 常用命令全集
2016-04-15
百度模态弹出窗口popup.js
2014-04-16
【大漠穷秋 译】Ext4新概念:类系统
2012-08-20
Spoket 1.6.18
2011-12-19
Extjs4.0学习笔记
2011-12-19
MyEclipse 8.x汉化
2010-06-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人