水上骑兵-优快云博客

原创 Apache与PHP安装配置

采用的是版本是httpd-2.2.23.tar.gz编译安装的tar -zxvf httpd-2.2.23.tar.gzcd httpd-2.2.23#其他采用默认的配置参数./configure --prefix=/usr/local/apache --sysconfdir=/etc/httpd/conf --enable-modules=somakemake install 常会

2013-01-08 12:10:09 839

原创 python连接hive的demo

在部署了两个hive后，分别在namenode和一个datanode上，用nohup hive --service hiveserver &将hive server启动。 Hive server 让Hive提供Thrift服务的服务器形式运行，允许不同的语言编写客户端进行访问。使用Thrift、JDBC、ODBC连接器的客户需要运行hive服务器来和Hive进行通信。通过设置HIVE

2012-12-20 16:09:45 16944

原创 Hive 常用操作

hive -f script.q 可以直接运行在脚本中的命令 hive -e 'select * from users' 直接执行SQL语句 hive -S -e 'select * from users' 静默的方式执行，不显示输入信息只显示输出结果 hive -v

2012-12-20 16:05:22 917

原创 linux 系统监控负载命令汇总

1. Top命令是能够比较全面实时展示进程的资源占用状况，详解参见Linux 系统监控负载top命令详解2. uptime 不需其他参数，提供使用者下面的信息：现在的时间系统开机运转到现在经过的时间连线的使用者数量最近一分钟、五分钟和十五分钟的系统负载参数。17:09:52 up 30 days, 23:55, 7 users, load av

2012-08-08 17:17:26 769

转载 Linux 系统监控负载top命令详解

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。top - 01:06:48 up 1:22, 1 user, load average: 0.06, 0.60, 0.48 Tasks: 29 total, 1 running, 28 sleep

2012-08-08 16:55:05 2600

原创 Hive安装

安装事项：一、解压安装hive-0.7.1.tar.gz配置HIVE_HOME路径二、在HDFS中为HIVE创建相关目录，存放创建表文件数据：创建并修改权限: hadoop fs –mkdir /tmp hadoop fs –mkdir /user/hive/warehouse hadoop fs

2012-08-05 19:25:45 805

原创 Hadoop2.0 Mapreduce实例WordCount体验

在Hadoop2.0中MapReduce程序的都需要继承org.apache.hadoop.mapreduce.Mapper 和 org.apache.hadoop.mapreduce.Reducer这两个基础类，来定制自己的mapreduce功能,源码中主要的函数如下Mapper.javapublic void run(Context context) throws IOExceptio

2012-08-05 14:23:17 8153

原创 Hadoop 键值对的mapreduce过程剖析

Hadoop的Mapreduce是一个分布并行处理大数据的程序框架，一个Map/Reduce 作业（job）通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 MapReduce程序是通过键值对来操作数据的，其

2012-08-04 16:13:39 4450

原创 qq纯真IP库安装及更新

QQ纯真IP库和命令，其主要功能就是把一些网络工具的输出的IP字符串，附加上地理位置信息(使用纯真数据库)。例如218.65.137.1会变成218.65.137.1[广西南宁市电信]。 qqwry.c，qqwry.h。一个c实现的lib,用来从纯真数据库里获取ip地址信息。 nali，一组ip查询工具，包括可以让dig，traceroute显示ip地理信息。

2012-07-26 21:37:03 2522

原创 Linux下 expect命令【应用】

上一篇 Linux下 expect命令【安装】在安装好expect 和tcl后，我们就可向各个主机中执行相同的命令了，实际上也就是执行的TCL脚本如下就是一个TCL脚本，相关语法参见 http://www.tcl.tk/man/tcl/tutorial/tcltutorial.htmlexpect.tcl脚本逻辑： 1）先SSH到所要的执行命令的主机，spawn ss

2012-07-25 21:59:57 946

原创 Linux下 expect命令【安装】

一、Expect介绍及应用场景 Expect是一个用来实现自动交互功能的软件套件(Expect [is a] software suite for automating interactive tools)。使用它系统管理员的可以创建脚本用来实现对命令或程序提供输入，而这些命令和程序是期望从终端（terminal）得到输入，一般来说这些输入都需要手工输入进行的。

2012-07-25 12:30:46 2117

原创 Hadoop 文件系统API开发编译

【hadoop】java文件的编译运行Hadoop中Jar包：对于hadoop的几个Jar包中，最好都添加到Java的环境变量CLASSPATH中去，能免去编译运行时的手动添加的Jar包依赖. CLASSPATH=$CLASSPATH:$HADOOP_HOME/hadoop-core-0.20.203.0.jar export CLASSPA

2012-07-03 12:23:49 1603

转载 Eclipse反编译插件安装

一、前提：1、已经安装了Eclipse，如我的Eclipse目录：E:\Work_Soft\Eclipse2、反编译插件包：eclipse 反编译插件_jad 3.3.0.zip 二、步骤：1、解压反编译插件包“eclipse 反编译插件_jad 3.3.0.zip”；2、将插件包中的net.sf.jadclipse_3.3.0.jar文件复制到Eclipse的插件目录下（

2012-07-03 11:42:59 558

原创 hadoop安装

安装版本信息： OS ：Red Hat Enterprise Linux Server release 5.3 (Tikanga) JDK : Java(TM) SE Runtime Environment (build 1.6.0_25-b06) Hadoop : hadoop-0.20.203.0一、修改集群hostn

2012-06-21 17:13:11 460

原创 yum 源设置

有很多操作系统开源镜像站点，里面有各种版本的操作系统，当然也有很多源包网易： http://mirrors.163.com/搜狐： http://mirrors.sohu.com/中科大： http://mirrors.ustc.edu.cn/LUPA： http://mirror.lupaworld.com/

2012-06-18 17:32:22 605