- 博客(39)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 python crontab ImportError
由于crontab在执行定时任务时不能读取当前用户( ~/.bash_profile)和系统的环境变量(/etc/profile)，经常导致在手工执行某个脚本时是成功的,但是到crontab中试图让它定期执行时就是会出错. 通过可以通过cat /etc/crontab获得crontab默认执行环境变量 /sbin:/bin:/usr/sbin:/usr/bin 而由于centos默认py
2013-03-25 18:24:26
2137
原创 Python 获取当前路径
利用Python写程序，经常会用到与程序相关的路径，为了保证程序的易移植性，就不能在程序中写过多的绝对路径。因此，会经常会先通过接口获取当前路径，然后再加上相对路径即可。Python获取当前路径其中一个经常用到的接口就是os.getcwd()， 官方文档对这个接口的注释是：Return a string representing the current working directory。
2013-03-22 14:47:16
14849
原创 通过Hive执行任务，异常——Hive：Connection refused；Hadoop：too many open files
问题背景：工作中需要用到Hiveserver提交任务到hadoop进行离线计算，在正常测试运行整个离线计算任务几遍后，在后面提交任务的运行过程中遇到该异常。问题表现：从监控模块放回的异常与Hive中日志异常一样，均为如下所示：2013-03-01 15:14:12 [ERROR] [SummaryReport] [orderNumStatics/订单量] File
2013-03-13 16:51:35
6480
原创 Python Logging
简单的一个Python Log类，以便以后再使用'''Created on 2013-1-10@author: wangyangjun'''import loggingimport osfrom logging.handlers import TimedRotatingFileHandlerclass Log(object): ''' classdocs
2013-03-13 10:11:17
1670
原创 log4j配置文件中的additivity属性
最新写程序，需要采用log4j来收集日志，这样就需要把程序运行日志和收集的日志区分开来。开始一直没有找到可以配置log4j让其独立输出到指定日志文件，于是采用了划分Log4j的等级来解决这个问题；具体实施方案是将父Logger的输出等级设置的高一点，而用来收集日志的Logger的输出等级设置低一点，采用trace方法来打日志；后来找到了log4j的additiv
2012-12-21 17:29:27
72071
1
转载 log4j日志输出性能优化-缓存、异步
http://blog.youkuaiyun.com/tornadowp/article/details/81824961、log4j已成为大型系统必不可少的一部分，log4j可以很方便的帮助我们在程序的任何位置输出所要打印的信息，便于我们对系统在调试阶段和正式运行阶段对问题分析和定位。由于日志级别的不同，对系统的性能影响也是有很大的差距，日志级别越高，性能越高。 2、log4j主要分为e
2012-12-07 10:50:39
2543
转载 python 实时获取子进程输出
在论坛上找到方法了，http://bbs.youkuaiyun.com/topics/340234292 import subprocess def main(): process1 = subprocess.Popen("python -u sub.py", shell=False, stdout = subprocess.PIPE, stderr=subprocess.STDOUT)
2012-11-23 11:08:45
14396
转载 Node.js express获取参数有三种方法
http://www.linuxidc.com/Linux/2012-04/58730.htm最近本人在学习开发NodeJs，使用到express框架，对于网上的学习资料甚少，因此本人会经常在开发中做一些总结。express获取参数有三种方法：官网介绍如下Checks route params (req.params), ex: /user/:idChe
2012-11-21 18:05:56
34424
原创 Node.js express路由
路由和request的处理首先看一个最简单的例子：var express = require('express')var app = express();app.all('/hello/*', function(req,res){ res.send("Welcome to Express"); });以上表示凡是url能够匹配/hello/*，服务器都
2012-11-20 16:49:41
9340
转载 绝对蛋疼——论js中的submit函数
绝对蛋疼——论js中的submit函数2012年03月27日 ⁄ web相关 ⁄ 暂无评论用到js里的submit函数，在jquery里写命令道：$("form").submit();结果出来一个错误提示：Uncaught TypeError: Property 'submit' of object [object HTMLFormElement] is not a f
2012-11-16 17:00:42
4112
原创 python关键参数
在C++、Java编程中，我们常常会用到默认参数；类似的，在python中也提供了默认参数；def fun(a, b = 2, c = 3) print 'a = ' + str(a) + ' b = ' + str(b) + ' c = ' + str(c)在调用给函数时，我们可以选择只传递一个参数（a），那么参数b 和 c 都会被赋值为设置的默认值；但是现在有个需求，要求显示
2012-11-05 10:32:12
707
转载 Lazy initialization holder class模式
Lazy initialization holder class模式，这个模式综合使用了Java的类级内部类和多线程缺省同步锁的知识，很巧妙的同时实现了延迟加载和线程安全。1：先来看点相应的基础知识 先简单的看看类级内部类相关的知识。什么是类级内部类？ 简单点说，类级内部类指的是：有static修饰的成员式内部类。如果没有static修饰的成员式内部类被称为
2012-10-28 13:48:52
1070
转载 Python2.6及后期版本的新特性——接口和抽象类
PEP 3119: 抽象基类有些面向对象的语言，如JAVA，支持接口，可以声明一个支持给定的一些方法方法，或者支持给定存取协议的类。抽象基类（或者ABCs）是Python里一个相同的特性。抽象基类由abc模块构成，包含了一个叫做ABCMeta的metaclass。这个metaclass由内置的isinstance()和issubclass()特别处理，并包含一批会被Python开发人员广泛
2012-10-26 09:49:09
3500
原创 Python单例模式（元类实现）
最近要用到Python的单例模式，在网上找了些方法。其中使用元类实现十分简洁，也很好用。因为单例类本身根本不知道自己是单例的,因为他本身(自己的代码)并不是单例的。其中代码如下：class Singleton(type):def __init__(cls,name,bases,dic):super(Singleton,cls).__init__(name,bases,dic
2012-10-25 11:31:43
2718
转载 python的__call__
(转自）http://www.cnblogs.com/john2000/archive/2012/03/27/2418981.html 有关python的__call__在官方文档上有这么一句解释 (http://docs.python.org/reference/datamodel.html?highlight=__call__#object.__call__)object.
2012-10-25 10:46:53
2614
转载 python中thread的setDaemon、join的用法
python中得thread的一些机制和C/C++不同：在C/C++中，主线程结束后，其子线程会默认被主线程kill掉。而在python中，主线程结束后，会默认等待子线程结束后，主线程才退出。 python对于thread的管理中有两个函数：join和setDaemonjoin：如在一个线程B中调用threada.join()，则threada结束后，线程B才会接着t
2012-10-23 09:34:29
7476
转载 Python 获取当前时间
我有的时候写程序要用到当前时间，我就想用python去取当前的时间，虽然不是很难，但是老是忘记，用一次丢一次，为了能够更好的记住，我今天特意写下python 当前时间这篇文章，如果你觉的对你有用的话，可以收藏下。取得时间相关的信息的话，要用到python time模块,python time模块里面有很多非常好用的功能，你可以去官方文档了解下，要取的当前时间的话，要取得当前时间
2012-10-22 14:39:55
858
转载 hadoop 常见错误
转自：http://my.oschina.net/u/248570/blog/42614（一）启动hadoop集群时易出现的错误：1. 错误现象：java.net.NoRouteToHostException: No route to host. 原因：master服务器上的防火墙没有关闭。 解决方法: 在master上关闭防火墙
2012-10-18 14:02:43
697
原创 子查询
在数据库的查询过程中，可能经常要用到子查询的情况，用得较多的可能是嵌套子查询，最近查资料时发现还有另外一种方法，就是在from子句中使用子查询，也可以实现相同的效果，下面通过一个实例来讲讲这两种方法的使用。1.使用嵌套子查询的方法。select Wid, Wname, WReadMe, imageurl from ware where Wid in( selec
2012-10-16 16:18:12
515
转载 JAVA正则表达式,matcher.find()和 matcher.matches()的区别
最近开发程序遇到一个问题，正则中包含"\\\\?"，由于程序中使用的matcher.find()，导致所有的数据都能匹配成功，造成很大的问题。找到这篇文章，特与大家分享。转自：http://www.cnblogs.com/hubingxu/archive/2012/02/17/2355516.html1.find()方法是部分匹配，是查找输入串中与模式匹配的子串，如果该匹配的串有组还可以使
2012-09-28 15:59:59
1489
转载 eclipse下maven打包报错处理方法
http://speedup.iteye.com/blog/1544648eclipse下maven的编译 2010-11-13 22:44 在eclipse下用maven编译时，可能会失败，爆出以下提示 Please ensure you are using JDK 1.4 or above and not a JRE (the com.sun.tools.javac.Mai
2012-09-22 04:30:33
7365
转载 hive创建分区表问题
今天在应用别人提供的新安装的hadoop集群环境时，创建Hive表成功却不能添加数据，不添加任何数据也不能查询。在网上找到这个帖子：http://blog.youkuaiyun.com/chenyi8888/article/details/7165519 正好解决了我的问题，在此分享。最近在使用hive的时候，metadata我是放在mysql（是５.5的版本）里的。当时mysql
2012-09-17 17:36:26
2227
转载 使用scp在linux主机之间传输文件
转载自：http://blog.163.com/dorothy_chai/blog/static/1964950202009112675811616/当两台LINUX主机之间要互传文件时可使用SCP命令来实现，建立信任关系之后可不输入密码。 把你的本地主机用户的ssh公匙文件复制到远程主机用户的~/.ssh/authorized_keys文件中 假设本地主机linux100,远程主
2012-09-17 10:44:12
913
转载 ERROR: org.apache.hadoop.hbase.MasterNotRunningException
今天运行hbase的时候发现这个错误：ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times查看log,发现大量的2012-04-26 08:13:39,600 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to
2012-09-14 11:25:42
3998
转载 HBase Java API详解
转自：http://www.open-open.com/lib/view/open1342514370807.htmlHBase是Hadoop的数据库，能够对大数据提供随机、实时读写访问。他是开源的，分布式的，多版本的，面向列的，存储模型。在讲解的时候我首先给大家讲解一下HBase的整体结构，如下图：HBase Master是服务器负责管理所有的HRegion服务器
2012-09-14 08:59:02
822
转载 解决UnicodeEncodeError: 'ascii' codec can't encode characters in position 问题
解决UnicodeEncodeError: 'ascii' codec can't encode characters in position转自：http://cooler1217.iteye.com/blog/1465335异常: 'ascii' codec can't encode characters字符集的问题，在文件前加两句话：reload(sy
2012-09-13 10:51:04
75400
6
转载 Error:hbase.PleaseHoldException: Master is initializing
原文：http://blog.youkuaiyun.com/fansy1990/article/details/7909839今天做了以下HBase的相关安装和配置，启动HBase没有问题，但是使用bin/hbase shell 命令转换到shell下时，使用比如命令，list.、create 'table','col' 等等都会出错，下面贴的是log里面的error部分：012-08-2
2012-09-12 16:49:25
8543
转载 Multiple markers at this line @override
解决方法：Eclipse的Window-Preferences->Java->Compiler，把Compiler compliance level从1.5改成1.6就可以了右击project选择最后一个properties选择左侧的java compiler,勾选里面的框框，把java编辑器版本都改成1.6
2012-09-07 14:52:35
1388
转载 Flex连接J2EE技术选择
转载自：http://www.sunxin.org/article/277.htmlFlex连接javaEE后台的可用技术：1）HTTPService（xml 方式）2）Webservice （soap）3）Blazeds4）LiveCycle Data Services5）Graniteds6）Flamingo7）Fiji8
2012-09-06 17:36:24
637
转载 Flex开源项目
Flex开源项目 转自： http://www.cnblogs.com/analyzer/archive/2008/06/02/1212050.html1. Flexboxhttp://flexbox.mrinalwadhwa.com/这是一位来自印度的flex开发者在07年2月份建立的flex组件库，里面也有不少好东西。2. Flexlibhttp://code.g
2012-09-05 22:23:48
956
原创 Eclipse + Flex4 环境安装（简易，防止失败）
最近自己安装Flex4插件版，在网上也找了很多资料，发现老是出错，最后研究出一种办法，特与各位共享。1. 直接安装Flex4插件版，不选外部Eclipse，安装时直接选自带Eclipse2. 将Flex安装目录\eclipse-host-distro\dropins下的文件直接拷贝到自己的eclipse\dropins其实这个过程原理很简单，就是Flex插件安装时为自带的eclipse
2012-09-05 10:15:59
988
转载 Eclipse Shell for Plugin
转自 http://blog.youkuaiyun.com/a600423444/article/details/6892167Eclipse有一款ShellEd组件，能够帮助快速开发Shell。下面是安装步骤。1.安装ShellEd依赖组件man-page viewer plug-in选择Help > Install New Software...->work w
2012-09-05 00:23:47
711
转载 收集Eclipse插件安装网址
摘自 优快云（http://blog.youkuaiyun.com/blueball/archive/2004/07/26/51821.aspx）http://www.eclipse-workbench.com/jsp/http://www.objectlearn.com/index.jsphttp://www.crionics.com/products/opensource/eclipse
2012-09-05 00:16:00
669
转载 eclipse无法检测加载插件可以偿试的方法
在安装一些eclipse 插件的时候, 经常会遇到总是安装不成功, 大部分是eclipse没有正确加载, 所以有时候反复装多次都不成功, NND,什么破玩儿,... 下面是安装插件不能加载时的常用解决方法, 可能会有所帮助. 一. 最常有的是在启动eclipse时加上-clean参数, 或清空configuration下的临时目录 二. 在configuration
2012-09-04 22:12:53
723
转载 Flex 4安装失败
Exit Code: 7-------------------------------------- Summary -------------------------------------- - 0 fatal error(s), 2 error(s), 2 warning(s)WARNING: Payload {7E5AA19B-0B85-4f44-BA26-72
2012-09-03 13:51:40
2615
转载 不同操作系统回车换行问题总结
一、windows的文件到linux下的转换方法：1. 用sed命令替换sed -e 's/^M//g' original.txt > target.txt （注意^M 在Linux/Unix下是这样输入的：先按CTRL+v,接着按CTRL+SHIFT+m，呵呵~~ 其实俺主要就是为了记录一下这个输入方法)2. 在vi中替换:%s/^M//g3.sed命令替换sed -e
2012-08-29 21:05:56
996
原创 Hive DFSclient
最近写hive的UDF，由于在UDF中操作了HDFS，测试jar包一直是正常的，但一到集群的hive环境中去测试就包错java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:272) at org.apache.hadoop.hdfs.DFSC
2012-08-28 18:41:47
2839
转载 hive中partition如何使用（转载）
网上有篇关于hive的partition的使用讲解的比较好，转载了：一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitio
2012-08-09 11:43:58
956
原创 帮忙解决一下，谢谢了
student stu[1000];student::save(){ int i=0, k=0;ofstream outfile("stu.dll",ios::app|ios::binary); if (! outfile) {cerr exit(1); } while (stu[k].num!=0)k++; for (i=0;i {outfile.write((char *
2009-07-22 20:12:00
576
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人