贾不假先生-优快云博客

原创 kafka基本概念

一. 分区模型Kafka集群由多个消息代理服务器（ broker server ）组成，发布至Kafka集群的每条消息都有一个类别，用主题（ topic ）来表示。通常，不同应用产生不同类型的数据，可以设置不同的主题。一个主题一般会有多个消息的好阅者，当生产者发布消息到某个主题时，订阅了这个主题的消费者都可以接收到生产者写人的新消息。二. 消费模型Kafka集群为每个主题维护了...

2018-07-24 20:51:10 492

原创 kafka入门

kafka作为一个消息系统，主要用于解决应用解耦、异步消息、流量削峰等问题。1.1 kafka流式数据平台作为一个流式数据平台具备三个特点：数据注入功能：提供事件流的发布和订阅；数据存储功能：存储事件流数据的节点具有故障容错的特点；流处理功能：能够对实时的事件流进行流式地处理和分析；kafka对于以上功能的实现和组合：一. 消息系统，包括以下两种模型：1.队列模...

2018-07-24 20:09:30 238

原创 Elasticsearch的插件bigdesk安装

1.下载bigdesk压缩包2.解压到elasticsearch-1.5.2/plugins/目录下3.运行Elasticsearch4. 打开http:9200/_plugin/bigdesk-master/

2018-07-20 10:39:14 384

原创 Elasticsearch集群服务常用命令

Elasticsearch巡检常用命令：1. 获取集群健康状况：curl -XGET 'http://localhost:9200/_cluster/health?pretty=true' 2. 获取集群状态：curl -XGET 'http://localhost:9200/_cluster/state?pretty'3. 获取本机节点状态：curl -XGET 'htt...

2018-07-20 09:24:00 550

翻译 Flume功能简介

优点：flume是一种分布式、可靠以及高可用的海量日志采集、聚合和传输的系统。功能：支持在日志系统中定制各类数据发送方，用于收集数据；同时可提供对数据进行简单处理，并具有写到各种数据接收方（HDFS、Hbase等）的能力。结构：Agent主要由：source，channel，sink三个组件组成。 source：从数据发生器接收数据，并将接的数据以flume的event格式传递给...

2018-07-11 09:02:29 5177

原创 Linux 基本命令及操作实例

打开终端可以看到： root@hostname #还可能看到$(普通用户)，或#（管理员用户root）. root是Linux中权限最高的用户。Shell脚本通常以 #!/bin/bash 起始的文本文件。其中#!位于Bash的解释器命令路径 /bin/bash 之前。脚本的运行方式分两种：1. 将脚本作为bash的命令行参数，（# + 内容表示注释，一直延续到行尾）e.g: ...

2018-07-09 09:35:55 12149 2

原创 Linux 的文件与目录配置

Linux 的文件分为：user文件拥有者：由于Linux是个多用户多任务的系统，因此可能会常常有很多人同时使用这部主机进行工作，为考虑到每个人的隐私权，以及每个人喜好的工作环境，出现了这个角色.Group 群组概念：小组内共享的一些文件资源。others 其他人的概念; Su- 命令切换身份离开su- 使用 exit 文件属性=文件类型+权限文件类型包括：d目录 -文件 l连接文件 b可...

2018-07-09 09:17:34 162

原创 Linux常见问题及解决方案

常见问题一: linux permission denied解决办法1：如果不是root登陆，可以切换到root用户执行一下试试；解决办法2：如果方法1任然不行，可以试着给文件添加所有用户的可执行权限：# chmod a+x xxx.sh或开放文件的所有权限：# chmod 777 xxx.sh常见问题二：java Unsupported major.minor version ...

2018-07-08 20:45:47 1102

第一章计算机系统漫游1.1 信息就是位+上下文源程序实际上就是一组由0和1（又称比特）组成的一个位序列，8个位组成一个字节，每个字节表示源程序中的某些文本字符。文本文件只由ASCII字符构成的文本；所有其他的文件称为二进制文件。1.2 程序被其他程序翻译成上下文在Unix系统上，源文件到目标文件的转化由编译器经过四个阶段完成：预处理阶段：预处理器（CPP）加载一些头文件到原始的C程序中，组成的新...

2018-07-08 20:01:41 269

原创一个简单的java面向对象实例

编写一个面向对象的例子，包括：(1)包含Interface和abstract class(2)包括方法的重载和重写(覆盖、复写)(3)包括对象的强制类型转换（父类子类之间）(4)包括static变量(5)包括private、protected、public方法的使用(6)构造方法和get/set方法(7)使用到this关键字

2018-07-07 21:43:23 4256

qq_31569207的博客