- 博客(123)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Sqoop 1.99.3安装和使用
SqoopSqoop是一个开源的数据传输工具，主要用于hadoop和关系型数据库之间进行数据传递。如MySQL ,Oracle ,Postgresql等.安装Sqoop分client和server，server安装在hadoop集群中的某个节点上，这个节点充当要连接sqoop的入口节点，，client端不需要安装hadoop.server端复制sqoop的安
2014-05-25 00:13:31
2823
转载 過去心不可得，現在心不可得，未來心不可得
一天， 一個小朋友跑來對我說：“我感覺到漸漸的長大了。” 我問她為什麼這麼說，她答道：“因為我付出了真正的友誼，可是到頭才發現自己連對方說的話都聽不懂。” 我又勸解到：“其實你不必去想那些話外音，因為太過複雜了，而只要直面地去瞭解它就行，這樣久而久之對方和你說話也會更直接了。”她感歎到：“可是現在不可能回到過去了，原本簡單的思想己經複雜了，現在又怎麼可能簡單了呢？” “佛家所說
2014-05-25 00:10:53
944
原创 wxpython仿写记事本
闲来无事，偶尔看到wxpython桌面开发，这是之前开发的..从别的博客中搬过来..以后大家开发桌面应用也可多了一种选择..# -*- coding: utf-8 -*- import hashlib import os import wx #编辑器主类 """ 记录：menu：Menu Dialog: MessageDialog,MultiChoiceDial
2014-03-15 23:47:20
1577
原创 hive内置函数
1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。 A < B 所有原始类型 如果A小于B返回T...
2013-09-22 13:10:57
595
原创 一个app应用视图载入、卸载过程
打开ViewController.m,看到以view开头的方法，一共6个。//当载入视图，特别是从NIB文件载入视图时，可以在这个方法里进行一些附加设置1. viewDidLoad//卸载视图，同时可以释放被retain的子视图资源2.viewDidUnload//视图载入后，准备显示出来3.viewWillAppear//视图已经显示出来4.viewDidAppe...
2013-03-31 00:18:18
206
原创 爱的供养--一碗汤的距离
唱机里反覆的在播‘爱的供养’，歌词高潮部分一遍又一遍的在脑中闪过“我用尽一生一世来将你供养”，我开始沉思，到底什么是供养？谁需要供养？我们要供养谁？供养这个词条的本意是给某某提供生计、赡养。而这首歌的本意是将心爱之人当成佛一样来供养。而我要说的是，这个社会上我们这一代人到底要供养谁？孩子？父母？这是从小方面说开了，而从大的方面，就没完没了的可以延伸。边听歌，边上网，看到一篇帖子在讨...
2013-03-29 13:30:57
267
原创 過去心不可得，現在心不可得，未來心不可得
一天， 一個小朋友跑來對我說：“我感覺到漸漸的長大了。”我問她為什麼這麼說，她答道：“因為我付出了真正的友誼，可是到頭才發現自己連對方說的話都聽不懂。”我又勸解到：“其實你不必去想那些話外音，因為太過複雜了，而只要直面地去瞭解它就行，這樣久而久之對方和你說話也會更直接了。”她感歎到：“可是現在不可能回到過去了，原本簡單的思想己經複雜了，現在又怎麼可能簡單了呢？”...
2013-03-29 13:02:21
259
原创 普通文本压缩成RcFile的通用类
[code="java"]package com.tool;import org.apache.commons.cli.CommandLine;import org.apache.commons.cli.CommandLineParser;import org.apache.commons.cli.GnuParser;import org.apache.commons.cl...
2012-07-17 20:12:58
210
原创 neo4j简单操作
Neo4j是一个嵌入式，基于磁盘的，支持完整事务的Java持久化引擎，它在图像中而不是表中存储数据。我已在电脑上安装并启动了neo4j，简单连接测试下[code="java"]/** * 關係枚舉 * @author zhangk * */public enum FirstRelationshipTypes implements RelationshipTy...
2012-07-14 09:08:33
257
原创 linux shell 字符串操作（长度，查找，替换）详解
在做shell批处理程序时候，经常会涉及到字符串相关操作。有很多命令语句，如：awk,sed都可以做字符串各种操作。 其实shell内置一系列操作符号，可以达到类似效果，大家知道，使用内部操作符会省略启动外部程序等时间，因此速度会非常的快。 一、判断读取字符串值表达式 含义 ${var} 变量var的值, 与$var相同 ${var-DEFAULT} ...
2012-07-14 08:54:40
154
原创 HIVE的基本操作
Hive 的官方文档中对查询语言有了很详细的描述，请参考：http://wiki.apache.org/hadoop/Hive /LanguageManual ，本文的内容大部分翻译自该页面，期间加入了一些在使用过程中需要注意到的事项。 创建表--Create TableCREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col...
2012-07-14 08:51:17
179
原创 RcFile存储和读取操作
工作中用到了RcFile来存储和读取RcFile格式的文件，记录下。RcFile是FaceBook开发的一个集行存储和列存储的优点于一身，压缩比更高，读取列更快，它在MapReduce环境中大规模数据处理中扮演着重要的角色。读取操作：[code="java"]job信息： Job job = new Job(); job.setJarByCla...
2012-07-14 00:11:29
422
原创 linux下安装apache，mysql，php5简单过程和整理
安装apachetar -xvzf httpd-2.2.22.tar.gz./configure --enable-dav --enable-so --enable-mods-shared=all --prefix=/usr/local/apache2 --with-included-apr makemake install可能会遇到的错误：modules/http/.li...
2012-07-01 00:17:56
221
原创 Linux在shell中如何判断传的日期是否为月末
[code="java"]判断传的日期是否为月末，思路是根据linux自带的cal日历来判断，当前的日期是否为日历的月份最后一天。代码如下：#传的日期dt1=20120630# 年y=`date -d ''$dt1' 0 days' +%Y`# 月m=`date -d ''$dt1' 0 days' +%m`# 日d=`date -d ''$...
2012-06-29 11:37:55
1940
1
原创 python使用thrift访问操作hbase
1.看不同语言对hbase的thrift访问demo，可以参考examples/thrift/DemClient.*,有c++,java,php,pl,py,rb等多种语言2.使用python访问hbase需要借助thrift的帮助，首先通过 --gen生成python的hbase的thrift脚本使用命令：[code="shell"]cd $HBASE_HOME thrif...
2012-05-13 21:05:52
346
原创 孙悟空是MM的证据有哪些？
孙悟空虽有定身法，居然从来不调戏美女。 孙悟空从来都对帅哥没办法，比如二郎神和唐僧。对于小帅哥哪吒还调戏了几下。 整部西游记孙悟空变身美女无数次，都是大量的暗示。 六耳猕猴代替孙悟空的地位，更加乖巧可爱取得了唐僧的好感，因此孙悟空不管菩萨的劝说，硬生生把可爱的六耳猕猴打死，显然是女性的嫉妒。 孙悟空一向都尽量不沾水，经常驱使猪八戒下河下海（比...
2012-05-13 14:01:12
284
原创 hadoop配置纪要
[code="html"]1.回收站设置，以防勿操作conf/core-site.xml fs.trash.interval 1440 默认是0.单位分钟。这里我设置的是1天（60*24）删除数据rm后，会将数据move到当前文件夹下的.Trash目录2. hdfs.site.xml ...
2012-05-12 23:07:28
135
原创 hadoop集群配置
[code="html"]有三台机子：192.168.1.100 node1 master192.168.1.101 node2 slaves192.168.1.102 node3 slaves这是我配置hadoop分布式集群的步骤，如有问题，请指正。一. 开通ssh，开机自启动，因为hadoop通过SSH通信root用户...
2012-05-12 23:05:05
127
原创 HBase Shell命令学习
在hbase shell状态下，使用命令help，会显示hbase 所有的命令[code="shell"]hbase(main):015:0> helpNameError: undefined local variable or method `he' for #hbase(main):016:0> helpHBase Shell, version 0.92.1, r129...
2012-05-12 18:23:08
332
原创 单机安装Hbase
HBase是一个分布式的、面向列的开源数据库。hbase有二种安装方式，单机安装，分布式安装【分布式又分伪分布式和分布式，伪分布式指的是进程都运行在一台机子上】。今天在单机上安装，主要用来学习其语法。分布式安装，需要至少三台机子并安装hadoop zookeeper等。系统：Linux version 2.6.22.6-1 (root@builder2.redflag-linux.com) (...
2012-05-12 17:10:44
270
原创 RPM命令手册
[code="html"]命令格式：rpm -i ( or --install) options file1.rpm ... fileN.rpm参数：file1.rpm ... fileN.rpm 将要安装的RPM包的文件名详细选项：-h (or --hash) 安装时输出hash记号 (``#'') --test 只对安装进行测...
2012-05-12 15:42:59
144
原创 使用python的wxpython仿写window自带的记事本
[code="python"]# -*- coding: utf-8 -*-import hashlibimport osimport wx#编辑器主类"""记录：menu：MenuDialog: MessageDialog,MultiChoiceDialog,NumberEntryDialog,PasswordEntryDialog,PrintDialog,Pro...
2012-05-10 22:19:10
714
原创 python函数式编程之内建函数
[code="python"]# -*- coding: utf-8 -*-#学习lambda#lambda的作用是定义一个匿名函数lam = lambda x,y=20:x+yprint lam(2) ==> 22print lam(2,2) ==> 4########################################filterfrom...
2012-05-05 18:53:18
161
原创 python os模块【记录】
Python的标准库中的os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。即它允许一个程序在编写后不需要任何改动，也不会发生任何问题，就可以在Linux和Windows下运行。下面列出了一些在os模块中比较有用的部分。它们中的大多数都简单明了。os.sep 可以取代操作系统特定的路径分割符。 os.name字符串指示你正在使用的平台。比...
2012-05-05 16:48:03
129
原创 python对文件的简单操作
[code="python"]# -*- coding: utf-8 -*-import os# 学习python对文件的操作# file_name 要打开的文件#access_mode 文件打开模式 【r(读) w(写) a(追加)】还有个U模式，代表通用换行符支持#使用r和u模式打开的文件必须存在# + 表示可读可写#file_obj = open(file...
2012-05-05 16:41:07
154
原创 删除一个目录下内容相同的文件
[code="python"]# -*- coding: utf-8 -*- ''' 删除一个目录下内容相同的文件 '''import shutilimport md5import osfrom time import clock as now#得到字符串的md5def getmd5(content): return md5.new(content)...
2012-05-05 13:34:09
209
原创 Python stat 模块
[code="python"]#!/usr/bin/env python#-*- encoding:UTF-8 -*-import os,time,statfileStats = os.stat ( 'test.txt' ) #获取文件/目录的状态fileInfo = {'Size':fileStats [ stat...
2012-05-05 13:19:42
193
原创 mysql存储过程分隔字符串
[code="sql"]create procedure split_str(in data varchar(200),in deli varchar(10))begin declare i int default 0; declare lfstr varchar(200) default ' '; declare instr varchar(50); while lfst...
2011-12-12 16:09:15
170
原创 自助查询工具需求分析
平时工作临时需求查询比较多，领导让做一个自助查询工具，这样可以给工程师省下很可观的时间，也减少了各部门扯皮的碰撞。客户端 php + mysql server1服务器端 shell,python,hive,hadoop server2 若干执行shell的server需求： 用户在前台填写task信息，比如：任务名称，执行服务器，上传uidlist文件【查询关于use...
2011-12-04 22:46:20
440
原创 【记录】使用python并行执行shell
[code="python"]#!/usr/bin/python# -*- coding: utf-8 -*-import sysimport subprocessimport os '''argv[1] 日期argv[2] 本地rsync路径【暂时没用】argv[3] 远程rsync ipargv[4] 任务列表地址'''c...
2011-12-04 22:11:46
1076
原创 Python 字符串方法
本文最初发表于赖勇浩（恋花蝶）的博客（http://blog.youkuaiyun.com/lanphaday），如蒙转载，敬请保留全文完整，切勿去除本声明和作者信息。 在编程中，几乎90% 以上的代码都是关于整数或字符串操作，所以与整数一样，Python 的字符串实现也使用了许多拿优化技术，使得字符串的性能达到极致。与 C++ 标准库(STL)中的 std::string 不同，python...
2011-10-18 15:23:44
145
原创 [转]linux下python安装
1．下载源代码 http://www.python.org/ftp/python/2.5.2/Python-2.5.2.tar.bz2 2． 安装 $ tar –jxvf Python-2.5.2.tar.bz2 $ cd Python-2.5.2 $ ./configure $ make $ make install 3. ...
2011-10-08 14:10:38
132
原创 布雷维克
你好布雷维克，我是一位来自中国的女青年，几天前听说你杀了至少86个人，今天晚上借着拉屎的时间，我酝酿了下思路，决定写一封信给你，我可能做不到语气平静，如果各种嬉笑怒骂让你不爽，请贱量！当然我觉得你不大可能真的看到这封信。首先，你TM真是太走运了，生在挪威这种地方，上学不要钱，从头到JB都有ZF养，娶了老婆之后，继续给你养小孩，下岗了还有钱拿能在家喝茶！拔diao无压力说的就是你这种情况你知不知...
2011-10-08 10:15:27
601
原创 hadoop介绍
hadoop是apache的一个项目，由HDFS，MapReduce，HBase，Hive和ZooKeeper等成员组成。HDFS和MapReduce是最基本得2个成员。源码地址：http://svn.apache.org/repos/asf/hadoop 以下是一个简单的hadoop-site.xml的配置：<?xml version="1.0"?>&...
2011-08-01 00:01:19
148
原创 mysql 存储过程 动态列查询
BEGIN-- 为需要拼接的变量赋值SET @VARNAME='李';SET @dayk='';-- 拼接字符串,其中?是执行拼接字符串语句的参数,@TestName是结果值SET @SQLStr0=CONCAT('SELECT short_link FROM vlink.vlink_hotcontent WHERE ',search,'=? ; '); -- ...
2011-07-12 11:26:16
402
json包包，快下载。
2008-10-06
关于jbpm4.3 fork 和join传参数的问题
2010-03-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人