- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flume+Quartz作业调度框架
好吧又是被吐槽写了挫挫的代码的一天，虽然写的代码不太好，但是还是新学习了Quartz作业调度框架的使用，现做个笔记吧~首先介绍下在做项目的需求：使用flume读取日志文件，使用拦截器对日志文件的内容进行信息聚合后存储到es当中。在这个过程中，会存在因意外原因丢失数据的问题，而当部分数据丢失，会引起flume拦截器中有部分多余的信息堆积，长此以往会降低flume的处理速度。针对这个问题，现设计...
2019-06-28 16:33:36
512
原创 flume性能调优
调优的出发点是因为在项目当中，那多个百兆的文件进行读写测试，发现默认配置在刚开始数据量较小的时候响应速度很快，但是随着数据量的增加，响应速度越来越慢。我们知道，flume-ng agent包括source、channel、sink三个部分，这三部分都运行在JVM上，而JVM运行在linux操作系统之上。因此，对于flume的性能调优，就是对这三部分及影响因素调优。1、source的配置该项目...
2019-06-05 19:33:51
3031
原创 flume 与 logstash 的比较
1、flume的介绍flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。flume的一个Agent主要由source、channel、sink三个组件组成。source负责从数据发生器接收数据；channel相当于持久层，用于暂时存储数据；sink负责将数据传送到目的地（hdfs、es等）。flume支持开发者定制，可以自己进行开发。2、logstash的介绍...
2019-05-27 19:20:15
3250
原创 kafka的简单demo实现
搭建Kafka开发环境生产者：kafka.producer.servers=ip+端口用于建立与kafka集群的连接，这个list仅仅影响用于初始化的hosts，来发现全部的servers。格式：host1:port1,host2:port2,…，数量尽量不止一个，以防其中一个down了kafka.producer.retries=0发生错误时，重传次数。当开启重传时，需要将max.i...
2019-05-19 15:09:14
2441
原创 hbase过滤器的使用
基于列、单元值的过滤器1、SingleColumnValueFilter（单列值过滤器）单列值过滤器：指定需要进行过滤的列，对该列的单元值进行比较过滤。SingleColumnValueFilter filter = new SingleColumnValueFilter(famliy, column_a, CompareOp.EQUAL,Bytes.toBytes(“value_a”));...
2019-05-12 09:32:08
775
转载 kafka搭建和安装
https://blog.youkuaiyun.com/m0_37738114/article/details/80405068https://blog.youkuaiyun.com/zajbetterme/article/details/84553594
2019-05-07 19:36:09
2853
2
原创 Hbase入门与使用
Hbase是一个分布式的数据库，它的主要作用为海量数据的存储和海量数据的准实时查询。Hbase的应用十分广泛，在交通、金融、电商、移动等行业均有涉足。Hbase有如下几个特点：容量大列式存储多版本扩展性稀疏性高性能可靠性Hbase的架构体系和设计模型服务架构体系1、hbase的主要进程：master、regionserver2、hbase所依赖的两个外部的服务：zookee...
2019-05-06 20:30:55
227
原创 selenium+Junit自动化测试
今天就以登录功能来向大家分享如何用selenium与Junit进行自动化测试，并在其中列举分享一下我测试过程中遇到的一些问题与具体解决方法。
2017-03-16 15:52:51
1580
原创 浅谈Jmeter之中文乱码问题解决方法
在上一篇博客中讲到了Jmeter的脚本录制，具体链接地址为浅谈Jmeter之脚本录制 今天来讲一讲Jmeter通过脚本录制得到的请求中中文乱码问题。
2017-03-07 15:24:55
4401
2
原创 浅谈Jmeter之脚本录制
近期使用了Jmter对网易的mini博客进行了性能测试，在使用期间出现了一些问题，经过请教老师与同学得出了解决方法，现与大家分享。
2017-03-07 13:49:53
369
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人