ProGram_BlackCat的博客

刚来公司的第二天做的事就是把cd的数据导到bj来，因为不能按照原来一模一样的去导所以就用到了datax，而datax帮我搞定了这个难题，有道是花时间想办法解决，不如找工具研究。首先我们得先下载datax https://github.com/alibaba/DataX 下面开始 解压到虚拟机上 tar -zxvf datax.tar.gz 修改权限为755 进入bin 目录即可操作同步作业

昨天博客没有写，原因真得不想提，可能是我下载得ftp客户端有注入木马，导致登陆ftp服务器得账号和密码被搞，数据库恶意被黑，今天服务器也很慢，可能是被攻击了，带宽被占吧。下次真的注意，不去垃圾网址下载软件了，言归正传，写写ELK这三兄弟吧，我准备分开单独得去写他们，下面开始。要认识一个新物种首先得要知道他是什么？干什么？有什么用？一、ELK详解Elasticsearch是个开源分布式搜索引擎，它的特

上一节我们讲完了Elasticsearch得全部，下面我接着介绍我们得二兄弟（Logstash),废话不多说，我们开始！Logstash安装过程：Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 安装步骤1 执行命令 tar –zxvf logstash2.4.0.tar.gz 解压

博客时间到，今天接着我们上次得elk，我们这次来讲Kibana，卡巴纳！！！Kibana安装流程Kiban是一个使用Apache开源协议，基于浏览器的Elasticsearch分析和搜索仪表板。 安装步骤1 执行命令： tar –zxvf kibana4.2.0 –C /usr/local/kibana 解压 安装步骤2 可能需要修改配置文件 连接elasticsearch 端口以及链接地址

这一篇讲logstash的自定义配置文件在实际项目中，单项的输入输出很难达到我们想要的结果，那么就出现了多配置输出输入项，贴上代码input { stdin { } jdbc { jdbc_connection_string => "jdbc:mysql://**.**.1.160:3306/acai" jdbc_user => "roo...

写在前边: 当初选择这家公司真的是来的后悔( 背景:老板做建材，做互联网建材，17年5月份，通过一定关系找到我，让我去组建团队，当初各种哭诉，各种无助给你看，真的太善良，默默选择帮助他，承诺股份(新项目)，团队现在6人，产品去年12月份离职，再没有过，老板一天天哭穷善用装软弱！)，前不久强制我们签一个不平等条约( 17年5月份，接手公司老项目，维护加在其上新...

一讲说了es，及Elasticsearch 二讲说一说logstash的安装 三讲说 logstash 的配置以及我们自定义的同步文件配置跟代码的实现 四讲说一下logstash 的ik分词 拼音分词 五讲说一下es的安全问题 这里会讲到 search-guard5 六讲说一下elk使用中我全部踩到的坑 以及怎么解决最后补充，对于elk来说，作者本人只达到了会用，能解决出现的bug...

之前我们讲了logstash的配置:增量配置、全量配置、多输入输出配置等，今天我们讲解一下logstash的俩个重要的组件:ik分词器与ik拼音分词器。为什么要有要装ik分词器是因为在一定意义上满足不了当前所需的业务。ik分词器-举个栗子: 在未用ik分词器之前，我们搜索 中华人民共和国 会将中华人民共和国 拆分为 中华人民 共和国 去进行搜索，当我们搜索的内容里存在中华 或者 人...