caodaoxi的专栏

脚本 first (测试示例1) 代码:#!/bin/bashecho 'your are in first file'问) 在当前脚本文件中调用另外一个脚本文件?方法一： 使用source 脚本 second (测试示例2)代码:#!/bin/bashecho 'your are in second file'source first方法二： 使用.脚本 second (测试...

　　或许还是ubuntu不经常用的缘故吧， 搞死人的搞了一天！　　我今天装的是thrift 0.8.0，首先下载thrift-0.8.0.tar.gz，解压tar -xzvf thrift-0.8.0.tar.gz　　thrift网站：thrift.apache.org　　Ubuntu下安装thrift其实很简单(完全可以参照wiki上的来做，但是请初学者注意下文备...

常用awk命令（转） awk 用法：awk ' pattern {action} '  变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR 到目前为止记录数 OFS 输出域分隔符 ORS 输出记录分隔符 1、awk '/1...

1. 获取ip、cpu、内存信息、loadAverageip使用ifconfig获得localip=$(ifconfig eth0 | grep 'inet addr' | awk '{print $2}' | cut -f2 -d:)空闲cpu由mpstat获得cpuidle=$(mpstat | grep all | awk '{print $11}')内存使用情况由fre

服务器filesshpathfreebsdapache考虑到服务器数据的安全，我考虑增加一台备份服务器，通过数据同步，达到较好的冗余。linux下有非常好的一个命令rsync可以实现差异备份，下面就说说它的用法：ubuntu缺省安装的安装中，rsync服务是没有开启的。需要做3步：1、修改/etc/default/rsync，让rsync服务在开机的时候启动。$ sudo

注：下面所有例子中 – - 之间实际上是没有空格的，使用时请删除空格。Rsync是一个远程数据同步工具，可通过LAN 或互联网快速同步多台主机间的文件。Rsync 本来是用以取代 rcp的一个工具，它当前由 rsync.samba.org 维护。Rsync 使用所谓的”Rsync演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相

http://blog.chinaunix.net/uid-20196318-id-2420884.htmlKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。 当前很多的消息队列服务提供可靠交付保证，

copy from http://blog.chinaunix.net/uid/11172773.html1         前言awk是Unix环境下一种非常好的语言，适合于文本处理和报表生成，它还有许多精心设计的特性，允许进行特殊技巧程序设计。对于短消息来说，比如处理话单文件，使用awk就非常方便，鉴于测试组大部分人对awk并不熟悉，因此仅以本文作一个提纲挈领的介绍，希望对初学者迅速掌

nohup命令及其输出文件　　nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂起的意思( n ohang up)。该命令的一般形式为：nohup command &ls xxx 1>out.txt 2>&1nohup /mnt/Nand3/H

这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤。./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。make是用来编译的，它从Makefile中读取指令，然后编译。make install是用来安装的，它也从Makefile中读取指令，安装到指定的位置。AUTO

service命令，顾名思义，就是用于管理Linux操作系统中服务的命令。1.声明：这个命令不是在所有的linux发行版本中都有。主要是在redhat、fedora、mandriva和centos中。2. 此命令位于/sbin目录下，用file命令查看此命令会发现它是一个脚本命令。3. 分析脚本可知此命令的作用是去/etc/init.d目录下寻找相应的服务，进行开启和关闭等操作。4

ubuntu下安装svn客户端和一些操作简介：安装svn客户端：apt-get install subversion ，然后根据提示一步一步，就完成了svn 的安装。当然，也可以源码安装 svn，下载 subversion 一个最新版本1、 安装 svn客户端：apt-get install subversion，然后根据提示一步一步，就完成了 svn的安装。当然，也可以源码安装 ...

Ubuntu 12.04 安装 Apache2+PHP5+MySQLLAMP是Linux web服务器组合套装的缩写，分别是Apache+MySQL+PHP。此教程教大家如何在Ubuntu 12.04 LTS server 上安装Apache2服务器,包括PHP5(mod_php)+MySQL。此教程中使用的相关IP等设置，在你的环境中要做相应修改。1 我们使用root账户...

linux shell 数组有关的一些知识 2人收藏此文章, 我要收藏 发表于7个月前(2012-02-02 18:25) , 已有607次阅读 共0个评论 Linux shell在编程方面比Windows 批处理强大太多，无论是在循环、运算。已经数据类型方面都是不能比较的。 下面是个人在使用时候，对它在数组方面一些操作进行的总结。 1.数组定义 ...

参考资料＊《学习bash shell 第3版》6.4. ArraysBash中还可以使用数组变量,其赋值有两种:(1) name = (value1 ... valuen) 此时下标从0开始，也可以：names=([2]=alice [0]=hatter [1]=duchess)。(2) name[index] = value数组可以使用de...

   如果在只是想匹配模式的上下几行，grep可以实现。$grep -5 'parttern' inputfile //打印匹配行的前后5行$grep -C 5 'parttern' inputfile //打印匹配行的前后5行$grep -A 5 'parttern' inputfile //打印匹配行的后5行$grep -B 5 'parttern' inputfile //打印匹配行的前5行...

配置Wine纯净版1. Dash -> 搜索wine，运行Configure Wine配置程序2. 激活“函数库”页面，在“新增函数库顶替”下拉框里输入“winemenubuilder.exe”，添加，编辑，停用3. 激活“函数库”页面，在“新增函数库顶替”下拉框里输入“winemine.exe”，添加，编辑，停用4. 如果已经产生了你不想要的关联／菜单／图标，可以执行：rm ...

ubuntu下安装Mongo的php扩展发表于131 天前 ⁄ PHP, 数据库 ⁄ 评论数 3终端运行命令：sudo apt-get install php5-dev php5-cli php-pearsudo pecl install mongocd /etc/php5/conf.d/sudo gedit mongo.ini复制这段语句到新打...

Ubuntu安装dos2unix命令Ubuntu系统打开Windows下生成的文本文件，会在每行的末尾出现’^M’原因就是Windows和Linux的回车符是不同的在Windows下回车符是\r\n回车换行在Linux下回车符是\n最简单、最常用的解决方法是使用dos2unix命令转换：dos2unix filenameUbuntu下dos2un...

$ id simon$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10$ sudo vi /etc/apt/sources.list$ add deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen$ sudo...

svnRabbitvcs sudo add-apt-repository ppa:rabbitvcs/ppa sudo apt-get update sudo apt-get install rabbitvcs-core rabbitvcs-nautilus3 rabbitvcs-thunar rabbitvcs-gedit ra...

Ubuntu安装mongodb版本ubuntu：12.04nginx：1.1.7php：php5.4.0 stablemongodb：2.0.2安装方式：编译安装wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.2.tgztar zxvf mongodb-linux-x86_64-2....

ubuntu12.04安装mongodb一，在Ubuntu下最傻瓜的步骤1.运行"apt-get install mongo"如果遇到找不到安装包的话运行"apt-get update"2.这时装好以后应该会自动运行mongod程序，通过"pgrep mongo -l "查看进程是否已经启动3.在终端输入"mongo"，然后回车进入数据库下面说下...

搜索引擎磁盘mysqlbthtml存储    1.关于伪静态的用处有些用户觉得,伪静态和真静态实际被收录量会相差很大,其实不然,从你个人角度,你去判断一下一个帖子到底是真静态还是伪静态?估计很难看得出,因为所谓静态的意思,就是地址中不带问号,不带问号的就是静态,管他是真的还是伪的?搜索引擎看得出吗?       所以说,其实不论是真的还是伪的,其实对于搜索引擎来说都是一样的,搜索引擎没

nginx本身不能处理PHP，它只是个web服务器，当接收到请求后，如果是php请求，则发给php解释器处理，并把结果返回给客户端。nginx一般是把请求发fastcgi管理进程处理，fascgi管理进程选择cgi子进程处理结果并返回被nginx本文以php-fpm为例介绍如何使nginx支持PHP一、编译安装php-fpm什么是PHP-FPMPHP-FPM是一个PHP F

原来linux操作系统上面开发程序光有了gcc是不行的它还需要一个   build-essential软件包作用是提供编译程序必须软件包的列表信息也就是说编译程序有了这个软件包它才知道头文件在哪才知道库函数在哪还会下载依赖的软件包  最后才组成一个开发环境当然 build-essential包安装时需要的依赖包有些你用不上我把 build-essenti

kafka使用例子导入eclipse:https://cwiki.apache.org/KAFKA/developer-setup.htmlkafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。

一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先

Source catalog:1.Console 控制台输出，可以带输出内容格式的参数比如console(“raw”), console(“json”)2.text("filename"[, format])一次读取文件内容，每一个换行做为一个事件。3.tail("filename"[,startFromEnd=false]{,delim="regex", delimMode=

a.单机测试flume-ng启动agent的命令为：$ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template添加如下配置文件example.conf# example.conf: A single-node Flume configuration

Flume配置文件(flume-site.conf)1、 watchdog watchdog.restarts.maxwatchdog每分钟重启的最大数???        2、 common node flume.config.heartbeat.periodnode发送心跳周期,默认5000(毫秒)

<Author:medcl><Category:日志分析>查看评论flume搭建调试Installing CDH3https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation流水账，备忘。wget http://archive.cloudera.com/redhat/cdh/cloudera-cd

【Syslog是什么？】      Syslog protocol是一种工业标准的协议，Syslog是一个简单协议，常用来管理计算机系统和安全审计。虽然存在大量不足，Syslog获得了大量设备和接收者跨越多个平台和操作系统的支持。因此，Syslog可用来将日志数据从多种不同类型的系统整合到一个存贮中心。 由于每个进程、应用程序和操作系统都或多或少地被独立完成，在syslog信息内容会有一些不一

Apache配置文件中，需要关心的和日志相关配置有两个：$ CustomLog /www/logs/access_log common$ ErrorLog /www/logs/error_logCustomLog用来指示Apache的访问日志存放的位置（这里保存在/www/logs/access_log中）和格式（这里为common）；ErrorLog用来指示Apache错误信息日志存

1、vi httpd.conf将ErrorLog logs/error_logLogLevel warnCustomLog logs/access_log combined               改为ErrorLog "| /usr/bin/logger -t httpd -p local4.info"LogLevel noticeCustomLog "| /

一、uptime     Uptime命令的显示结果包括服务器已经运行了多长时间，有多少登陆用户和对服务器性能的总体评估（load average）。load average值分别记录了上个1分钟，5分钟和15分钟间隔的负载情况，load average不是一个百分比，而是在队列中等待执行的进程的数量。如果进程要求CPU时间被阻塞（意味着CPU没有时间处理它），load average值将增加

flume 是 cloudera公司研发的日志收集系统，采用3层结构：1. agent层，用于直接收集日志;2.connect 层，用于接受日志; 3. 数据存储层，用于保存日志。由一到多个master管理1和2层节点。本文采用单节点试用flume日志处理。 下载flume下载页面https://github.com/cloudera/flume/downloadsflum

http://abloz.com前一篇《flume日志收集单节点》，讲了怎么安装flume，对单节点模式进行了测试。本篇讲flume伪分布式部署和测试flume包括3种节点，一种是agent，一种是collector，一种是master。master用于管理agent和collector。agent和collector是完全一样的，都是从source拉数据，往sink 推数据。所以其不同完

nginx可以使用各平台的默认包来安装，本文是介绍使用源码编译安装，包括具体的编译参数信息。正式开始前，编译环境gcc g++ 开发库之类的需要提前装好，这里默认你已经装好。ububtu平台编译环境可以使用以下指令apt-get installbuild-essentialapt-get installlibtool

操作系统：Ubuntu12.04硬件环境：HP CQ45        当用户使用sudo apt-get install安装完apache和mysql之后，这些服务默认是开机启动的，但是有的时候需要关闭这些服务的开机启动。        首先普及一个概念，以下转自维基百科：运行级别（Runlevel）指的是Unix或者Linux等类Unix操作系统下不同的运行模式。运行级别通常分