- 博客(39)
- 收藏
- 关注
RSS订阅原创 Shuffle's getMapOutput() fails with EofException, followed by IllegalStateExcept
在查看tasktracker日志时，发现报错 2013-12-18 15:56:29,527 WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201311271626_585288_m_000024_0,2) failed : org.mortbay.jetty.EofException ... 2...
2013-12-18 18:29:47
158
pig自定义输出文件名，重写StoreFunc
需要实现四个方法： getOutputFormat() prepareToWrite(RecordWriter writer) putNext(Tuple tuple) setStoreLocation(String location, Job job) setStoreLocation(String location, Job job) 设...
2013-12-06 17:04:38
296
原创 python 使用ConfigParser，ConfigObj读取配置
使用python 从配置文件获取配置： import ConfigParser config = ConfigParser.ConfigParser() #@staticmethod def getValue(keyName): with open('./conf/system.properties', 'r') as cfg: conf...
2013-09-25 16:14:09
552
原创 python tarfile-打包解包
最近项目上有一个ftp上传程序，需要把碎文件打包上传，到服务端再解包。本来已经只能通过shell来搞这个了，无奈打包过程中有一部分业务逻辑，不能把整个目录都打包，惊喜地发现python有tarfile这个东西，太惊喜了，试用完后发现还挺不错，打包一组466M的文件，共778个文件花了1.9s，解包花了2.3s。打包，解包代码如下： tar打包 在写打包代码的过程中，使用tar.add...
2013-09-12 17:20:15
678
原创 Linux查看系统资源占用命令
top: ======================================主要参数d：指定更新的间隔，以秒计算。q：没有任何延迟的更新。如果使用者有超级用户，则top命令将会以最高的优先序执行。c：显示进程完整的路径与名称。S：累积模式，会将己完成或消失的子行程的CPU时间累积起来。s：安全模式。i：不显示任何闲置(Idle)或无用(Zombie)的行程。n：显示更新的次数，完成...
2013-08-05 10:21:17
667
原创 禅道linux安装
组里面用敏捷，初步打算用禅道，打算把禅道部署在Linux服务器上。安装步骤如下： 1、下载 由于是新机器，没有安装Php,mysql,apache之类的，就打算下载一个一键部署包，http://dl.zentao.net/4.1/ZenTaoPMS.4.1.stable.linux.7z 2、安装 下载下来后，按照网站的介绍(http://www.zentao.net/help-read...
2013-07-29 18:08:42
172
原创 禅道关联svn
禅道专业版价位 http://www.cnblogs.com/zentaoms/ 禅道软件下载及安装地址 http://www.zentao.net/article-view-78950.html 安装完成后需要运行init.sh，生成命令行脚本 http://www.zentao.net/help-read-79777.html 下面就是关联svn http://www.ze...
2013-07-04 14:44:29
782
原创 MYSQL使用Limit限定更新行数
上下文：想要修改config表，将其中5607行的is_ok改为true。 想通过下面的sql语句实现 UPDATE channel_config set is_adam_pub=1 where channel_id in (select channel_id from channel_config limit 5607); 发现Mysql不能支持子句使用Limi...
2013-04-16 11:34:02
1288
原创 java volatile关键字
volatile关键字有什么用？ 举个例子: private volatile int v; public void func(){ int a=5*v; int b=5*v; .... } 如果v是个普通的变量,编译器很可能会做这样的优化, 第一次计算出5*v的值后,先赋给a,然后直接又从寄存赋给b, 而不会重新计算5...
2013-04-09 09:18:14
93
原创 hadoop job推测执行
什么是推测执行？ 所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务哪个先执行完就把另外一个kill掉 怎么...
2013-04-08 19:32:25
204
原创 用Eclipse Memory Analyzer查找内存泄露
系统上线后，程序报出out of memory错误。一方面先加大程序运行的内存以解燃眉之急，另一方面希望能有个工具能查出内存泄露的原因。 通过查阅资料发现了Memory Analyzer这个eclipse插件，下面讲下怎么用。 首先，获取Heap dump文件。 有三种方式： 1、设置JVM参数，-XX:+HeapDumpOnOutOfM...
2013-03-07 10:28:31
402
原创 flask-sqlachemy note
between datetime按天查询 Myclass.query.filter(myClass.date.between(_date, _date+timedelta(days = 1))) filter 和 filter_by的区别 session.query(MyClass).filter(MyClass.name == 'some name') session...
2012-12-10 17:15:10
144
原创 用正则表达式匹配w3c日志，导入hive
用正则表达式匹配w3c日志，导入hive w3c格式建表语句： CREATE EXTERNAL TABLE w3c( host STRING, ident STRING, username STRING, log_date STRING, method STRING, uri STRING, version STRING, status S...
2012-11-08 17:00:07
311
原创 Excel中导入Unix格式时间戳小技巧
简介 Excel中导入Unix格式时间戳小技巧 步骤/方法 Excel默认不支持Unix格式时间戳，这在导入数据时十分不便。可以用以下公式将时间戳转换成Excel格式的时间：=(x+8*3600)/86400+70*365+19 其中x为时间戳的单元格，8*3600中的8为中国的时区。然后将公式单元格设置为日期时间格式即可。转换结果如下图...
2012-10-25 11:36:44
233
原创 ftp传输两种模式--port,pasv
FTP是File Transfer Protocol(文件传输协议)的缩写，用来在两台计算机之间互相传送文件。相比于HTTP，FTP协议要复杂得多。复杂的原因，是因为FTP协议要用到两个TCP连接，一个是命令链路，用来在FTP客户端与服务器之间传递命令;另一个是数据链路，用来上传或下载数据。 PORT & PASV FTP协议有两种工作方式：PORT方式和PASV方式，中文...
2012-08-28 09:39:06
210
原创 commons-logging log4j org.slf4
commons-logging log4j org.slf4 日志介绍 日志工具 Log4j Apache的一个开放源代码项目，通过使用Log4j，我们可以： 日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等； 也可以控制每一条日志的输出格式； 定义每一条日志信息的级别，...
2012-08-28 09:22:09
119
原创 hbase shell commands
list 查看有什么表 list 'tablename' scan 查看表内数据 scan 'tablename' scan 'tablename' ，{ VERSION =>3 } #控制显示的行数 create 建表 create 'tablename', 'columefamily' put 插入数据 put 'tablenam...
2012-07-30 14:21:53
103
原创 Hbase CRUD Operations(Java API)
Put Method void put(Put put)throws IOException Put的构造方法 Put(byte[] row) Put(byte[] row,RowLock rowLock) Put(byte[] row,long ts) Put(byte[] row,long ts,RowLock rowLock) add() ...
2012-07-30 09:23:14
173
原创 Java中getResourceAsStream的用法
首先，Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从 ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 2. Class.getClassLoader....
2012-07-18 15:28:45
114
原创 Eclipse 实用快捷键
说明：前面带*号的是非常常用的快捷键，希望大家都掌握 编辑 --------------------------- *Ctrl+1(数字1) 快速修复 *Ctrl+D 删除当前行 *Ctrl+Alt+↓ 复制当前行到下一行(复制增加) *Ctrl+Alt+↑ 复制当前行到上一行(复制增加) *Alt+↓ ...
2012-04-11 14:25:28
100
原创 python 从另一个包导入文件
文件目录 _ |_utils_ | |_utils.py |_xk.py 想要从xk.py import utils.py里面的函数 需要在utils里面加入__init__.py使utils不仅仅是一个文件夹，而是一个模块 如果xk.py在另一个模块里，而不是在根目录下 需要在xk.py首部加上 import sys ...
2012-04-06 14:43:07
423
原创 python,with open
用python的时候，会经常遇到文件数据库的open，但总会不小心忘了close 用with open 语句就能很好的解决这个问题，它会在语句执行完后，自动执行close（） with open('./prepare_channels.txt', 'r') as f: for s in f: channels.add(s.strip())...
2012-04-06 10:18:19
553
原创 python 如何在一个文件中调用另一个文件的类
#filename xk class class AClass: def __init__(self,name): print name a=AClass("sadfaf") 开始尝试的是用 import xk a=AClass("sadfaf") 执行出错 原因 一直以为python和Java是一样的，类名要和...
2012-04-05 11:58:23
1067
原创 打不开chm文件
从网上下载的chm电子书，常常会出现页面无法显示 的情况，在网上搜索了之后发现，很多人的解决方法都是修改注册表。 经过实验后，我发现了一个简单的解决办法 对于网上下载的chm，打开时会出现“您要打开此文件吗？。。。。。。打开此文件前总是询问” 如果直接点打开按钮，而不去掉 打开此文件前总是询问 的选项前的对号，那么打开之后就会无法显示网页 把 打开此文件前总是询问 的选项前的对号去掉，然后打开，就...
2012-03-31 17:15:13
92
原创 eclipse 调试时提示select failed
执行DEBUG操作时，eclipse报出错误： Cannot connect to VM select failed 解决办法是在 eclipse.ini 文件中添加参数 -Djava.net.preferIPv4Stack=true
2012-03-28 17:47:49
242
原创 eclipse maven 配置
1、maven\conf\settings.xml 设置<localRepository> 为本地存储的位置 设置<mirror> <id>Nexus</id> <name>Nexus Public Mirror</name> <url>http:
2012-03-28 17:45:24
97
fancybox 调整弹出页面的宽度
想要调整fancybox弹出页面的宽度，在网上找了好久，都没能成功 后来请师傅指点了一下，立马就成功了，方法如下 调整宽度，fancybox自带的width字段不管用 如果要改的话需要在弹出的html页面顶端加一个div,设定该页面的宽度，这样就成了 <div style="width: 800px"> ...
2012-03-23 11:41:04
774
原创 python产生随机数
这些方法位于random模块中 random.random(),同javascript的Math.random(),返回[0.0,1)之间的浮点数 random.uniform(a, b),返回[a,b]之间的浮点数 print random.uniform(10, 20) print random.uniform(20, 10) #---- 结果（不同机器上...
2012-03-15 17:47:29
385
原创 MySQL语法语句大全
一、SQL速成 结构查询语言(SQL)是用于查询关系数据库的标准语言，它包括若干关键字和一致的语法，便于数据库元件(如表、索引、字段等)的建立和操纵。 以下是一些重要的SQL快速参考，有关SQL的语法和在标准SQL上增加的特性，请查询MySQL手册。 1．创建表 表是数据库的最基本元素之一，表与表之间可以相互独立，也可以相互关联。创建表的基本语法如下： crea...
2012-03-13 14:20:10
113
原创 python time,datetime,string转换
#把datetime转成字符串 def datetime_toString(dt): return dt.strftime("%Y-%m-%d-%H") #把字符串转成datetime def string_toDatetime(string): return datetime.strptime(string, "%Y-%m-%d-%H") #把字符串转成...
2012-03-13 11:04:32
868
原创 优化从mongdb取数据python代码，用于出fusioncharts图
原始代码 def ioBandwidth(request): beginDate = request.GET.get("beginDate") collection = getCollection() data = collection.find().sort("InsertDate",pymongo.ASCENDING) mscombi2d.cat...
2012-03-09 14:02:48
128
原创 Python搭配MongoDB使用方法
Python搭配MongoDB使用方法 原文地址：http://serholiu.com/python-mongodb 下面就谈谈Python操作MongoDB的一些基本用法，先介绍一下MongoDB，这是现在风头正劲的NoSQL数据库，没有关系数据库那种表之类的概念，就像Python中的字典一样，一个键对应一个值，然后这些键值组成一个文档，然后文档组成一个集...
2012-03-09 10:00:41
210
原创 Python日期和字符串的互转
原文地址：http://hi.baidu.com/qinghua9/blog/item/cf9fafccd71e661900e92870.html 用的分别是time和datetime函数 import time,datetime # date to strprint time.strftime("%Y-%m-%d %X", time.localtime()) #str t...
2012-03-09 09:55:02
186
原创 MongoDB Windows 下安装部署
原文地址：http://www.cnblogs.com/yudigen/archive/2012/01/12/2320212.html 下面主要是我在Windows上（Win7）安装、运行、安装Windows服务的笔记，以作备忘。 1、下载 下载地址：http://www.mongodb.org/downloads 从其下载页面就可以看出MongoDB还真...
2012-03-06 16:58:07
90
原创 fusioncharts出图
昨天下午加今天上午一直在调程序 结果调到最后，发现所有的问题无外乎两种 1、需要的文件没有导入 2、中文乱码问题 json里所有的数据都是没编码的，所以如果要写中文的话，需要在前面加上u 利用数据出图代码 html <div id="chart-bandwidth"></div> $('#submit').click(functio...
2012-03-06 15:36:13
101
原创 python **args * args
转载 http://jimi68.iteye.com/blog/200514 先来看个例子： Pthon代码 def foo(*args, **kwargs): print 'args = ', args print 'kwargs = ', kwargs print '------------------------------...
2012-03-06 10:28:20
105
原创 django book-学习笔记（第四章)
第四章 模版 点语法 1、用来引用对象的* 方法*。 >>> t = Template('{{ var }} -- {{ var.upper }} -- {{ var.isdigit }}') >>> t.render(Context({'var': 'hello'})) u'hello -- HELLO -- False' &g...
2012-02-27 18:06:20
172
原创 django book-学习笔记（第三章)
第三章 视图和URL配置 一个视图就是Python的一个函数。这个函数第一个参数的类型是HttpRequest；它返回一个HttpResponse实例。为了使一个Python的函数成为一个Django可识别的视图，它必须满足这两个条件。（也有例外，但是我们稍后才会接触到。) 正则表达式 符号 匹配 . (dot) 任意...
2012-02-27 17:45:46
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人