qq_25933841的博客

(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结前八个博客讲到的都是单机版日志收集. es,kafak logstash 都是基于一台机子搭建的.最近跟公司又申请了一台机器用于搭建es和kafak以及logstash的集群.以保证高可用.首先搭建es集群..因为另一台机子使用了原有机器的镜像 ,所以凡是第一台机器上面搭建过的...

ELK+kafka实现分布式日志收集系统整体需要按照下面命令进行启动各个环境.(9) 后台启动elasticsearch 端口为9200外部通讯使用 9300节点间内部通讯使用 服务端浏览器地址为:http://101.37.32.7:9200/ nohup ./elasticsearch &g...

前言:公司采用了两种消息队列,一种是阿里云的rocketMQ,一种是kafka.分别用在了两种不同的场景.这里做个记录.rocketMQ使用场景:1.异步解耦:拿我们的项目举例,有一个场景,是需要pc端触发派单接口,然后发送给app端消息通知.此时要求能够做到每个app都能收到消息,但是又希望这个发送的过程尽量的短,也就是派单接口尽量快.那么这个派送的过程可以采用rocketM...

前言: 上文elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建 已经将kafka在服务器搭建成功.现在开始通过代码进行kafka的集成. 上文说到简单的elk日志系统从服务器的日志文件角度来进行日志收集.虽然能够做到收集日志的效果,但是一旦服务器数量多了.那么维护起来就是十分麻烦的了.所以现在我们从根源获取日志.并通过kafka和logs...

下载kafka链接:kafka我选用的版本为kafka_2.12-2.1.1 因为没有客户群,所以搭建的都是单实例的.后期有条件的话搭建集群.依然上传到/opt下然后解压tar -zxvfkafka_2.12-2.1.1.tgz然后在kafka目录下面新建logs文件夹进入kafka的 config目录vim server.properties...