Dream_Flying_BJ-优快云博客

原创 supervisor可以用的配置es和kibana

[program:elasticsearch]directory = /usr/local/elasticsearch/bin ; 程序的启动目录command = su - elk -c '/usr/local/elasticsearch/bin/elasticsearch' ; 启动命令，可以看出与手动在命令行启动的命令是一样的autostart = true ; 在 super

2017-06-15 11:35:30 1989

原创用systemctl启动es报错文件描述符不够只有4096

报错max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]vim /etc/security/limits.d/20-nproc.conf# Default limit for number of user's processes to prevent

2017-06-15 11:31:00 1511

原创安装使用supervisor

yum install python-setuptoolseasy_install supervisor测试安装是否成功：echo_supervisord_conf2.创建配置文件创建supervisor配置文件目录/etc/supervisor/mkdir -m 755 -p /etc/supervisor/创建主配文件supervisord.confecho_supervisor

2017-06-15 11:30:15 763

原创 redis配置文件详解

参数说明redis.conf 配置项说明如下：1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile /var/run/redis.pid3. 指定Redis监听端口

2017-06-14 12:08:15 519

原创 redis启动脚本

#!/bin/sh## redis init file for starting up the redis daemon## chkconfig: - 20 80# description: Starts and stops the redis daemon.# Source function library.. /etc/rc.d/init.d/functionsna

2017-06-14 12:06:40 569

原创 mongo配置文件详解

10.142.166.9510.142.164.23510.142.164.238mongod -f /etc/mongodb.conftailf /data/mongodb1/mongodb.logtailf /data/mongodb2/mongodb.logtailf /data/mongodb3/mongodb.logsudo ansible -i ansible_hosts c

2017-06-14 12:04:15 1581

转载 mysql配置文件详解

配置文件具体的结构分析：[mysqld]port = 3306socket = /tmp/mysql.sock# 设置mysql的安装目录basedir=F:\\Hzq Soft\\MySql Server 51GA# 设置mysql数据库的数据的存放目录，必须是data，或者是\\xxx-datadatadir=F:\\Hzq Soft\\MySql Server 51GA\\dat

2017-06-14 12:02:01 1755

原创 mysql主从同步配置

主配置文件由于升级mysql5.7被覆盖了木有了10.142.164.235[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-

2017-06-14 12:00:24 443

原创 mongo权限认证

mongo添加密码mongod --port 27017 --dbpath /data/mongodb1 --logpath /data/mongodb1/mongodb.log &mongo 10.142.166.95:27017http://www.xuejiehome.com/blread-1444.htmldb.createUser({user:"user",pwd:"pass",r

2017-06-14 11:57:03 626

原创 mongod副本集部署

启动命令mongd -f /etc/mongodb.conf#不用配置文件自己起得玩10.142.166.95mongod --replSet foo --port 27017 --dbpath /data/mongodb1 --logpath /data/mongodb1/mongodb.log &10.142.164.235mongod --replSet foo --port 270

2017-06-14 11:56:08 460

原创 elasticsearch删除index和数据

之前7个T删除一个月的hadoop审计日志删除了2T查看indexcurl 'localhost:9200/_cat/indices?v'删除indexcurl -X DELETE 'localhost:9200/sdf-hdfs-audit-2017.04*'

2017-06-14 11:40:13 12015

转载 eagle转载自乐视大数据部高级hadoop工程师蔡华宇

http://10.140.60.48:9099 eagle地址http://blog.youkuaiyun.com/seohyunchyl/article/details/60758695 蔡华宇http://blog.youkuaiyun.com/ganglia/article/details/49760183 这个也挺好http://blog.youkuaiyun.com/u011270461/ar

2017-06-14 10:20:32 1296

原创 tcpcopy线上部署以及github提交的一个issue

给自己留存一个美好的回忆 github提交的issue● 发现tcpcopy在开启单个进程多倍流量转发时会出现cpu单核心使用率过高导致rst包的现象，后来通过抓包排查等多钟方法以外发现是单进程tcpcopy的cpu无法响应造成的，后来启动6个tcpcopy进程同时一倍流量没有啥问题。● Online Server(OS)：上面要部署 TCPCopy，从数据链路层(pcap 接口)抓请求数据包，发

2017-06-13 18:28:07 727

转载 storm配置文件详解

storm默认参数配置storm默认配置参数在defaults.yaml里，默认参数配置请参考https://github.com/apache/storm/blob/master/conf/defaults.yaml相关参数解释Storm配置项备注java.library.path Storm本身依赖包的路径，存在多个时用冒号分隔storm.local.dir

2017-06-13 18:01:44 1362

原创部署storm和配置文件详解

#########安装storm########storm_install.shsudo ansible -i ansible_hosts elk -m copy -a "src=/letv/apache-storm-1.1.0.tar.gz dest=/letv/apache-storm-1.1.0.tar.gz "ansible -i ansible_hosts elk -m script

2017-06-13 17:39:18 3539

转载 kafka 配置文件参数详解

kafka的配置分为 broker、producter、consumer三个不同的配置一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。------------------------------------------- 系统相关 -------------------------------------------#

2017-06-13 17:15:30 8291 1

原创部署kafka以及配置文件详解

########安装kafka tar -zxvf kafka_2.12-0.10.2.0.tgzcd /root/letv/kafka_2.12-0.10.2.0/configegrep -v '^#|^$' server.properties vim server.properties配置文件broker.id=2#每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变b

2017-06-13 17:14:02 5838

转载 zookeeper配置文件详解

配置参数详解(主要是ZOOKEEPERHOMEZOOKEEPER_HOME/conf/zoo.cfg文件)参数名说明clientPort客户端连接server的端口，即对外服务端口，一般设置为2181吧。dataDir存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能。tickTimeZK中的一个时间单元。

2017-06-13 15:58:32 589

原创 zookeeper的leader选举和最大故障节点数

法定数量是通过严格意义上的多数节点来表示的。在集合体中，可以包含一个节点，但它不是一个高可用和可靠的系统。如果在集合体中有两个节点，那么这两个节点都必须已经启动并让服务正常运行，因为两个节点中的一个并不是严格意义上的多数。如果在集合体中有三个节点，即使其中一个停机了，您仍然可以获得正常运行的服务（三个中的两个是严格意义上的多数）。出于这个原因，ZooKeeper 的集合体中通常包含奇数数量的节点，因

2017-06-13 15:55:14 2323

原创部署zookeeper

总体安装完了以后就酱 #安装zookeeperwget "http://apache.opencas.org/zookeeper/stable/zookeeper-3.4.10.tar.gz"mv zookeeper-3.4.10/letvcd /letvtar -xzvf zookeeper-3.4.10.tar.gzcd zookeeper-3.4.10/conf/单机模式cd /l

2017-06-13 15:07:39 543

原创 logstash安装配置入kafka(配置hadoop审计日志)

logstashkafkaelasticsearchhadoop

2017-06-13 14:44:23 1777

原创 elasticsearch的plugin使用

安装sudo bin/elasticsearch-plugin install [plugin_name]查看列表sudo bin/elasticsearch-plugin list卸载sudo bin/elasticsearch-plugin remove [pluginname]

2017-03-29 16:18:13 3690

原创 megacli64做raid1

#!/bin/bashsed -i /nodiratime/d /etc/rc.localecho "/dev/sdb /data/slot0 xfs defaults 0 0" >> /etc/fstabecho "/dev/sdc /data/slot1 xfs def

2017-03-28 14:02:41 2544

原创 megacli64的raid0

先卸载raid的6块盘，在做raid0，其中下面的一行要确认#megacli64 -PDList -aALL | egrep 'Enclosure Device ID|Slot Number'#!/bin/bash#去除fstabsed -i /data/d /etc/fstab#卸载umount /dev/sdbumount /dev/sdcumount /dev/sddumount

2017-03-28 14:01:48 1159

原创 megacli64的raid10

先卸载raid0的12块盘，在做raid10，其中下面的一行要确认#megacli64 -PDList -aALL | egrep 'Enclosure Device ID|Slot Number'#!/bin/bashsed -i /nodiratime/d /etc/rc.localecho "mount /dev/sdb /data/" >> /etc/rc.localumount /d

2017-03-28 14:00:48 1992

原创 megacli64做raid其中Enclosure Device ID和Slot Number很重要

查看Enclosure Device ID和Slot Number和raid级别#megacli64 -PDList -aALL | egrep 'Enclosure Device ID|Slot Number'#megacli64 -LDInfo -Lall -aALL 查raid级别 raid10实例megacli64 -CfgSpanAdd -r10 -Array0[8:4,8:5] -A

2017-03-28 13:58:59 6498

转载单个JVM下支撑100w线程数vm.max_map_count

I、环境要求：1.64bit Linux2.64bit JDK3.Memory够大，512GB4.cpu:64 processorsII、测试工具：【DieLikeADog.java】java -server -Xmx6G -Xms6G -Xmn600M -Xss228K -XX:PermSize=50M -XX:MaxPermSize=50M -XX:+DisableExplicitGC DieL

2017-03-28 10:10:18 9432

原创安装elasticsearch官网安装，配置，后台启动

es 安装自己编写的脚本#!/bin/bashcd /letvrsync -avzP 10.180.92.199::wVioz35SWO9zywesmagfOrP9XjigoF8j/james/elasticsearch-5.0.0.tar.gz .tar -xzf elasticsearch-5.0.0.tar.gzln -s /letv/elasticsearch-5.0.0 /usr

2017-03-28 10:07:57 1048

原创安装kibana官网安装，配置，后台启动

官网安装soeasywget https://artifacts.elastic.co/downloads/kibana/kibana-5.0.2-linux-x86_64.tar.gzsha1sum kibana-5.0.2-linux-x86_64.tar.gz tar -xzf kibana-5.0.2-linux-x86_64.tar.gzcd kibana/ 自己写了个脚本，用于a

2017-03-27 15:58:37 19764 3

转载 ansible-playbook并发

第三章: playbook进阶 playbook好文章到目前为止,我们只是简单的运行了几个模块.其实ansible运行更多控制去执行playbook.使用这些技术,你能够执行更加复杂的部署.并发运行ansible默认只会创建5个进程,所以一次任务只能同时控制5台机器执行.那如果你有大量的机器需要控制,或者你希望减少进程数,那你可以采取异步执行.ansible的模块可以把task放进后台,然后轮

2017-03-27 14:52:24 7213

原创 saltstack配置管理

简单配置/srv/salttop.slsbase:'*':- dingding.sls touch /tmp/foo:cmd.run:- creates: /tmp/foo结果执行当一切都准备好后，只需要salt '*' state.highstate即可将sls应用到minion中。使用salt '*' state

2017-03-27 14:48:48 535

转载 saltstack安装转载一

2017-03-27 14:47:29 664

原创 ansible简单用用

加个hostsvim /etc/ansible/hosts[elk]10.183.93.13110.183.93.132执行个ping命令检测下ansible -i /etc/ansible/hosts elk -m ping自己单独的环境开启全局sudo哈哈 vim /etc/sudoersdingyunlong ALL = (ALL) NOPASSWD: ALL在dingy

2017-03-27 14:31:31 537

原创 centos7安装jdk1.8

官网去下载，放到rsync服务器上面。这两部我省略了写个脚本 ansible在跳板机上执行安装好用到爆就是把脚本放到跳板机上，然后执行 sudo ansible -i ansible_hosts elk -m script -a "install_jdk1.8.sh"#!/bin/bashcd /usr/local/src && rsync -avzP 10.180.92.199::

2017-03-27 11:10:15 637

原创 nginx proxy_buffer_size 解决后端服务传输数据过多，其实是header过大的问题

nginx proxy_buffer_size 解决后端服务传输数据过多，其实是header过大的问题这三个参数已设置就搞定了额proxy_buffer_size 64k;proxy_buffers 4 32k;proxy_busy_buffers_size 64k;本着精益求精的精神我翻了官网官网解释总体来说我还是没懂。我把报错信息放出来，以后用得着。开发说nginx502了，

2017-03-17 17:46:57 45499 4

原创 nginx log_format 变量含义详解

nginx log_format 变量含义详解Embedded VariablesThe ngx_http_core_module module supports embedded variables with names matching the Apache Server variables. First of all, these are variables representing clie

2017-03-17 16:48:35 3458

原创 jenkins设置token

给定个url http://integration.bigdata.le.com/user/dingyunlong/configure

2017-03-17 11:03:59 4697

原创 nginx的max_fails的bug

故障描述是印度的lebi访问慢，10.154.30.27宕机造成的。配置如下upstream newlebi { server 10.154.30.94:8080 weight=1 max_fails=3 fail_timeout=10s; server 10.154.30.27:8080 weight=1 max_fails=3 fail_timeout=10s

2017-03-10 16:00:15 5619

原创 Python flask-restful的安装使用

安装pip install flask-restful 官网介绍很棒这个是中文的也很棒

2017-03-10 15:52:31 5519

原创 ubuntu一键安装mongodb最新版

官网安装步骤镇楼秘钥sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C614.04的源echo "deb [ arch=amd64 ] http://repo.mongodb.org/apt/ubuntu trusty/mongodb-o

2017-03-09 23:56:28 749

空空如也

空空如也