fan0703-优快云博客

原创 ElastAlert 邮件模板自定义

小组使用ElastAlert 做报警系统，由于默认的邮件报警格式不是我们想要的，我们想更改其中的内容，自定义发现github上有相关内容https://github.com/Yelp/elastalert/issues/1473到官方文档中也未找到https://elastalert.readthedocs.io/en/latest/ruletypes.html?highlight=al...

2019-03-13 16:40:37 1036

原创最全的elasticSearch、elastAlert、kibana 安装配置集成过程

1、安装elasticSearch 版本6.2.41）wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz2）wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.g...

2019-02-13 15:45:07 4017

原创 elastalert的安装配置

这两天在公司接触了一下elasticsearch和elastAlert，搭建过程遇到一些问题，这里记录一下。首先安装elasticsearch，elasticsearch 是一个实时的分布式搜索分析引擎。我这边是安装在linux下的，版本是6.2.4。安装elasticsearch 需要java环境，我这边是1.8。elasticsearch 后来的版本是不能以root用户运行的，所以我...

2019-01-09 12:55:00 1286

原创 apache kylin 中的设计模式----工厂模式

在apache kylin中运用了诸多的设计模式，接下来就介绍一下kylin中使用的工厂模式：创建SourceFactory，生成实体类对象 ISource接口 ...

2018-10-30 18:51:40 223

原创 kylin中的metadata详解

kylin的metadata是kylin的核心，也是学习kylin的关键一步。TASK1array["0"]="0"for all in `ls`;do cubetime=`grep create_time_utc $all | tail -1 | awk '{print $3}' | awk -F, '{print $1}'`;cubetime=`expr $cubetime...

2018-10-04 15:48:52 1664

本文参考斯坦福著名论文：implementing data cubes efficiently。在kylin（麒麟）中，有一项关键技术叫做预计算：简单的说，我们预先计算出用户可能查询的结果，每一种可能我们称之为一个cuboid，所有的cuboid组合起来叫一个cube。我们把cube存储起来，当用户需要查询数据的时候，就不用查找原始数据表，直接查询cube就能得到想要的数据，这是让kylin能...

2018-08-24 19:52:48 553

原创搭建kylin（麒麟）及遇到的问题（续）

之前安装好了ambari，接下来就是需要使用ambari安装需要的服务，其中遇到了一个问题1、Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). SSH command execution finished解决：cd ~/.shhcat id_rsa.pub >>authoriz...

2018-07-24 17:43:03 2596

原创在Windows下搭建kylin(麒麟)运行环境

刚来公司实习，所在的项目组是做kylin的，仅以此文记录下kylin开发环境的搭建。由于kylin是运行在linux系统上的，而公司给我配的电脑是Windows的，所以在这里讲的是Windows下配置运行环境。kylin是建立在hadoop之上的，所以依赖于Hadoop。step1、下载配置JDKstep2、下载配置mavenstep3、申请一个云主机可以选择阿里巴巴付费的...

2018-07-20 09:22:26 4470 1

原创装饰器模式

装饰器模式的意图是用来动态的增加/减少功能职责。顾名思义，该模式的功能十分明显，就是为了满足时不时冒出的新需求，而避免过多生成子类。举个例，装饰器模式为已有类动态附加额外功能就像一般游戏一样，可以为英雄的升级提供额外的奖励，具体对象是ConcreteComponent，通过装饰器Decorator，实现每一个附加功能（奖励）进具体对象ConcreteDecorator。优点：通过动态组合的方式，灵...

2018-05-29 14:55:51 158

原创代理模式

代理模式：为目标对象提供一个占位对象或者代理对象，来控制客户端对目标对象的访问。这个模式比较好理解，例如：明星的经纪人，租房的中介等等都是代理，所以常使用该模式实现可以详细控制访问某个类（对象）的方法，在调用这个方法前作的前置处理（统一的流程代码放到代理中处理），调用这个方法后做后置处理。优点：可控制昂贵对象的实例化，降低系统开销，比如说图片的预加载。再者，可限制客户端访问目标对象的权限，使得系统...

2018-05-28 21:09:43 183

转载乐观锁与悲观锁

悲观锁：总是假设每次操作都会发生冲突，所以为了防止冲突的产生，在每次对数据进行操作的时候，都会上锁，阻塞其他进程的访问，所以悲观锁具有很强的独占性和排他性。悲观锁的实现往往依靠数据库的锁机制实现，只有这样才能保证排他性。在某个资源不可用的时候，就将cpu让出，把当前等待线程切换为阻塞状态。等到资源(比如一个共享数据）可用了，那么就将线程唤醒，让他进入runnable状态等待cpu调度。这就是典型的...

2018-04-20 19:09:59 190

原创 IBM Rational Rhapsody 系统建模常见问题与建议

这是本人的第一篇博客！选了一门叫系统建模的课程，需要实验。使用 IBM Rational Rhapsody+cygwin。IBM Rational Rhapsody+cygwin的实验环境还是挺难弄的，常有各种报错。 1、重点！重点！重点！无论如何，编译器cygwin都装32位。 2、运行后如无任何反应，请检查是否配置环境变量 3、报错如下：

2017-10-10 19:58:56 5985 2

fan0703的博客