紫蝶侠的博客

有人说下kudu,kylin,druid,clickhouse的区别,使用场景么?Kylin、Druid、ClickHouse核心技术对比

Netty只是网络通信框架,目的是让你用最少的代码构建出足够支撑网络通信的功能，它是基于JAVA的NIO进行封装后的产品。Netty RPC实现　　RPC，即Remote Procedure Call（远程过程调用），调用远程计算机上的服务，就像调用本地服务一样。RPC可以很好的解耦系统，如webservice就是一种基于HTTP协议的RPC。RPC框架有很多，比较知名的如阿里的Dubbo、google的gRPC、Go语言的rpcx、Apache的thrift。当然了，还有Spring Cloud.

KUDU 介绍KUDU 介绍kudo 和hdfs hbase的区别有HBase之后为什么还需要KUDUkudu安装部署方式1 docker部署https://kudu.apache.org/docs/quickstart.html方式2 rpm部署KUDU安装包下载地址：https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RPMS/x86_64/API操作之插入数据&删除表&数据查询

OLAP和OLTP的区别

功介绍：Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。Kerberos的原理架构如图各模块的说明Application Client应用客户端，通常是需要提交任务（或者作业）的应用程序。Appl

spark程序对hadoop环境的依赖，导致checkpoint失败问题的解决问题解决方法：在spark程序开始执行的时候，设置hadoop.home.dir程序环境变量，也就是添加如下语句： System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.1");链接：https://pan.baidu.com/s/1dHYcnf-1Pe2BJRjhff6nPA提取码：dyfo问题原因：虽然checkpoint到本地目录，但是在spark的底层调用

1.OLTP(传统数据库）数据库：是OLTP（On-Line Transaction Processing）（联机事务处理）应用的场景，其存储的主要是与业务直接相关的数据，强调准确、低时延、高并发，如果没有特别强调，基本上数据库里只会去存储与业务相关的数据。代表产品：Oracle、MySQLOLTP系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作，强调事务性；2.OLAP(数据仓库)数据仓库：OLAP（On-Line Analytical Processing）（联机分

Apache HTTPD和NGINX访问日志解析器这是一个Logparsing框架，旨在简化Apache HTTPD和NGINX访问日志文件的解析。基本思想是，您应该能够拥有一个解析器，可以通过简单地告诉该行写入了哪些配置选项来构造该解析器。这些配置选项是访问日志行的架构。github地址：https://github.com/nielsbasjes/logparser需要IDEA先安装Lombok插件导入依赖<dependency> <groupId>nl.ba

apache计算引擎的发展关系在apche中的三篇论文鉴定大数据的基础其中mr收到其中一篇论文的启发创造了mapreduce，同时随着时代的发展也出现了其他的技术技术。1.第一代计算引擎 mapreducemapreduce 作为第一个计算引擎，用于批处理，是计算引擎的先驱，内部支持机器学习但是现在机器学习库不在更新，并且mapreduce 编写十分的耗时，开发效率低，开发时间成本太大，所以很少有企业写mapreduce 来跑程序。2.第二代计算引擎 pig/hive作为第二代引擎pig/hi

Prometheus 算是一个全能型选手，原生支持容器监控，当然监控传统应用也不是吃干饭的，所以就是容器和非容器他都支持，所有的监控系统都具备这个流程，数据采集→数据处理→数据存储→数据展示→告警，本文就是针对 Prometheus 展开的，所以先看看 Prometheus 概述Prometheus 概述展开目录先来看一下 Prometheus 是个啥Prometheus 是什么中文名普罗米修斯，最初在 SoundCloud 上构建的监控系统，自 2012 年成为社区开源项目，用户非常活跃的开发人员

大数据分析框架1、HadoopHadoopHadoopHadoop 采用 Map Reduce 分布式计算框架，根据 GFS开发了 HDFS 分布式文件系统，根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon 以及国内的百度，阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建...