关于graylog3集群搭建

机器准备：os764位，内存最好大于10g

安装流程查看系统shsh是否已经zhu装过jdk

java -version

未装的话：sudo rpm -ivh jdk-8u211-linux-x64.rpm

安装es集群：（es比较吃内存）

这里我准备了三台机器

 10.217.56.230， 10.217.56.241，10.217.56.247

上传解压6.*的es，我采用elasticsearch-6.5.1.tar.gz

不要用root用户启动，es做了限制

修改集群名称，node名称，数据和文件保存路径

增加：

# 设置节点间交互的tcp端口,默认是9300 
transport.tcp.port: 9300
transport.tcp.compress: true

root文件及角色授权

chown -R peiyajie:peiyajie /usr/local/elasticsearch

chmod  777   /usr/local/elasticsearch

./bin/elasticsearch -d

如果启动有问题，及时百度很好解决，例如内存数限制等

安装mongdb集群

直接下载软件mongodb-linux-x86_64-3.0.6.tgz

做一些配置（具体百度集群安装）

dbpath=/home/peiyajie/etc/mongodb/db
logpath=/home/peiyajie/etc/mongodb/logs/mongodb.log
port=27017
fork=true
replSet=rs0

任意一台机器配置：

conf=
    {
    "_id" : "rs0",
    "members" : [
        { "_id" : 0, "host" : "10.217.56.230:27017" },
        { "_id" : 1, "host" : "10.217.56.241:27017" },
        { "_id" : 2, "host" : "10.217.56.247:27017" }
        ]
    }

rs.initiate(conf)
 

以这种方式启动/home/peiyajie/etc/mongodb/bin/mongod -f /home/peiyajie/etc/mongodb/conf/mongodb.conf后

连接数据库：

/home/peiyajie/etc/mongodb/bin/mongo -port 27017

如果需要自己增加，供graylog连接使用

db.createUser( {
 user: "peiyajie",
 pwd: "123456",
 roles: [ { role: "readWrite", db: "graylog" } ]
});

db.grantRolesToUser( "peiyajie" , [ { role: "dbAdmin", db: "graylog" } ])
db.auth("peiyajie","123456")
 

就在一台机器上面增加集群关系

安装graylog集群

 直接get镜像太慢，建议下载下来执行

sudo rpm -ivh graylog-server-3.0.2-1.noarch.rpm

三台装完之后，修改相关配置

/etc/graylog/server/server.conf

一个is_master为true，另外两个为false

rest_listen_uri = http://10.217.56.230:9000/api/ 

web_listen_uri = http://10.217.56.230:9000/ 

# elasticsearch 相关配置
elasticsearch_hosts = http://10.217.56.230:9200,http://10.217.56.241:9200,http://10.217.56.247:9200
elasticsearch_shards =1 
elasticsearch_replicas = 0
 
# mongodb 连接配置，这里直接本机起的mongodb，没有设置验证
mongodb_uri = mongodb://peiyajie:123456@10.217.56.230:27017,10.217.56.241:27017,10.217.56.247:27017/graylog?replicaSet=rs0
# 网络访问相关，重要，graylog3比2.x版本简洁了很多网络配置，只需配置http_bind_address即可。
http_bind_address = 0.0.0.0:9000
# 配置外网地址，我这里用了域名+nginx做反向代理，所以外网地址如下。没有的话就直接就用外网ip+port，如：http://外网ip:9000/
http_publish_uri = http://10.217.56.230:8888/

http_external_uri= http://10.217.56.230:8888/

然后启动

systemctl daemon-reload

systemctl enable graylog-server.service

systemctl start graylog-server.service

安装nginx

下载nginx，按照网上教程来https://packages.graylog2.org/el/stableServer/3.1/x86_64

修改配置放在http里面

server {
   listen       8888;
   server_name http://10.217.56.230;

   location / {
       proxy_pass http://graylog-web-cluster;
   }
}
    upstream graylog-web-cluster {
        server 10.217.56.230:9000 max_fails=3 fail_timeout=30s;
        server 10.217.56.241:9000 max_fails=3 fail_timeout=30s;
        server 10.217.56.247:9000 max_fails=3 fail_timeout=30s;
    }

然后执行启动/home/peiyajie/nginx/sbin/nginx -c /home/peiyajie/nginx/conf/nginx.conf

访问页面：

http://10.217.56.230:8888/

其中有一些坑需要自己踩，很好解决，及时度娘。

https://blog.youkuaiyun.com/huixueyi/article/details/81117897

最典型的问题：stale_master_timeout = 100000

 系统配置：sysctl -w net.core.rmem_max=1048576