mtj66的博客，交流WX:SpringBreeze1104

fluent-plugin-kafka (0.6.6) ruby-kafka (0.4.4)在使用fluentd中使用 kafka source 会出现问题 默认会安装 fluent-plugin-kafka (0.6.6) ruby-kafka (0.5.2)但是测试发现会出现若干问题 ruby-kafka 说明中指出支持kafka0.9 不过下了相关tag版本的r

说明数据源来自 source1,测试数据来自source2此处根据日志的特征分流到不同的kafkatopic，当然也可以到ES 或者是 file,一个match中的数据可以有多个store进行存储，不过可能会相互影响，也就是copy到两个地方。# 具体参考 https://docs.fluentd.org/v0.12/articles/out_rewrite_tag_filter?q=st

Marthon docker 配置fluent示例，加上tag，进行后期fluent进行分类处理更方便。 "parameters": [ { "key": "log-driver", "value": "fluentd" }, { "key": "log-opt", "value": "fl

zabbix_server的自动发现，实现批量添加主机，并链接到模板 测试环境的节点不多，我竟然一个个的手动添加了，生产环境可不能这么干。 　1.zabbix server 已经部署好，所需要加入的服务器zabbix-agent已经安装。　2.防火墙都开放端口，主要是10050、10051端口，或者关闭整个iptableszabbix-agent客户端的设置1.打开zabbix-agent.c

想要监控某一项，达到某个条件进行邮件预警，需要知道整个流程，才能得心应手，熟练运用zabbix进行监控。一般来说监控的是整个集群的节点情况，所以最好是创建出一个模板，在模板的基础上批量指定监控的节点。添加模板 -> 创建应用集 -> 创建监控项 -> 创建触发器邮件告警 流程 准备阶段：创建好sendmail.sh脚本，并编辑好发送邮件程序，更改执行权限，c

什么是ncnc是netcat的简写，有着网络界的瑞士军刀美誉。因为它短小精悍、功能实用，被设计为一个简单、可靠的网络工具nc的作用（1）实现任意TCP/UDP端口的侦听，nc可以作为server以TCP或UDP方式侦听指定端口（2）端口的扫描，nc可以作为client发起TCP或UDP连接（3）机器之间传输文件（4）机器之间网络测速                    

测试网速其实利用了传输文件的原理，就是把来自一台机器的/dev/zero 发送给另一台机器的/dev/null就是把一台机器的无限个0，传输给另一个机器的空设备上，然后新开一个窗口使用dstat命令监测网速在这之前需要保证机器先安装dstat工具yum install -y dstat 方法1，测试网速演示（先启动接收命令方式）步骤1，A机器先启动接收数据的命令，监听自己的

方法1，传输文件演示（先启动接收命令）使用nc传输文件还是比较方便的，因为不用scp和rsync那种输入密码的操作了把A机器上的一个rpm文件发送到B机器上需注意操作次序，receiver先侦听端口，sender向receiver所在机器的该端口发送数据。   步骤1，先在B机器上启动一个接收文件的监听，格式如下意思是把赖在9995端口接收到的数据都写到file文件里（这里

fluentd 使用 小计plugin 地址 https://www.fluentd.org/plugins/allplugin 安装实例 td-agent-gem install fluent-plugin-concat fluentd UI进行界面化操作管理 https://github.com/fluent/fluentd-ui官网 https://docs.

https://localhost:8443注意是https，采用的是jetty ssl链接。输入账号密码azkaban/azkanban（如果你之前没有更改的话）首页首页有四个菜单projects：最重要的部分，创建一个工程，所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务history:显示历史运行任务

这个文档假定你已经通过quit start部分了解Azkaban的基础的部分Jobs和配置        Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置，但是也有许多可以激活job功能的标准参数。这些参数将会在下面的部分进行描述说明

安装完docker,pull image或者是docker login 都需要访问外网,本文是采用代理的方式.但是依然没有成功,看看官网的 proxy的配置吧.HTTP/HTTPS proxyThe Docker daemon uses theHTTP_PROXY,HTTPS_PROXY, andNO_PROXYenvironmental variables in its st...

# docker 安装,gitlab镜像拉取步骤跳过docker 拉取镜像之后,后台启动运行gitlab,这里采用的是中文汉化镜像,建议使用社区镜像,原汁原味更好.docker run \--hostname 172.0.1.46 \--detach \--publish 8443:443 \--publish 8090:80 \-p 10085:22 \--name gitlab \--restart unless-stopped \-v /mnt/gitlab/

zabbix agent 安装流程history

今天给大家介绍另外一款自动化运维工具：AnsibleAnsible自动化工具只需要在一台机器上安装，其他机器不需要安装任何东西，这就是ansible比puppet, saltstck方便的地方。ansible的特点有哪些呢？下面为你逐个介绍：特点：(1)、轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；(2)、批量任务执行可以写成脚本，而且不用分

Linux下RPM软件包的安装及卸载http://os.51cto.com/art/201001/177866.htm在 Linux 操作系统下，几乎所有的软件均通过RPM 进行安装、卸载及管理等操作。RPM 的全称为Redhat Package Manager ，是由Redhat 公司提出的，用于管理Linux 下软件包的软件。Linux 安装时，除了几个核心模块以外

1.  yum install supervisor2.  vim  /etc/supervisord.confchose  unix_http_server or inet_http_server  [unix_http_server]file=/var/run/supervisor/supervisor.sock   ; (the path to the socket file

rpm是由红帽公司开发的软件包管理方式，使用rpm我们可以方便的进行软件的安装、查询、卸载、升级等工作。但是rpm软件包之间的依赖性问题往往会很繁琐,尤其是软件由多个rpm包组成时。Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自

http://blog.youkuaiyun.com/u010053463/article/details/49300625ubuntu 14.04 添加阿里镜像源deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/...

为了清理之前的console consumer 采用如下的 脚本 进行筛选,然后一次性kill掉:ps -ef |grep ConsoleConsumer  |awk '{print $2}'|xargs kill -9这里是输出ps -ef |grep hello 结果的第二列的内容然后通过xargs传递给kill -9,其实第二列内容就是hello的进程号！附录：1,awk是一种编程语言，用于...

#查看硬盘列表  sudo fdisk -l为新硬盘添加分区sudo fdisk /dev/sdb n：添加新分区 p：使用主分区 l：主分区编号为1，这样创建的分区为sdb1格式化新分区sudo mkfs ext4 /dev/sdb1 #使用ext4格式化sdb1分区随意创建一个文件夹，将新分区挂载上去sudo mkdir /disk2 sudo mount /dev/sdb1 /disk2 #...

如何以root用户批量查看各个节点的其他用户的定时任务,在集群运维中很常用:ansible all  -m shell -a " su hdfs -c 'crontab -l ' " 此外从当前结点批量拷贝到各个节点文件 :ansible hbase -m copy -a "src=/data/download/add_sit_hosts.sh backup=yes dest=/data/tmp"...

Linux查看文件编码格式及文件编码转换如果你需要在Linux 中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8。下面介绍一下，在Linux中如何查看文件的编码及如何进行对文件进行编码转换。查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在