- 博客(5)
- 收藏
- 关注
RSS订阅原创 Kafka理论概述和应用场景
1.Kafka概述 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。简单地说，Kafka就相比是一个邮箱，生产者是发送邮件的人，消费者是接收邮件的人，Kafka就是用来存东西的，只不过它提供了一些处理邮件的机制。 2.Kafka相关名词分析 Broker：Kafka节点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群 Topic：一类消息，消息存放的目录即主题，例如page view日志、click日志等都可以以topic
2021-11-05 14:38:11
102
原创 Flume 是什么
一、Flume 是什么 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。其可以不断的监听数据源来将新产生的数据搬迁至目标，如将新产生的log 日志数据写入 HDFS。 二、Flume 组成架构 Flume 的组成架构图如下： Agent Agent 是一个 JVM 进程，其由三部分组成 Source，Channel，Sink。 Agent 以事件（event）的方式将数据从源头送往目的地。 So
2021-10-31 22:08:49
153
原创 Zookeeper安装配置
在安装ZooKeeper之前，请确保在以下任何操作系统上运行 − 任意Linux OS− 支持开发和部署。它是演示应用程序的首选。 Windows OS− 仅支持开发。 Mac OS− 仅支持开发。 ZooKeeper服务器是用Java编写创建，它运行在JVM。所以需要使用JDK 6或更高版本。 现在，请按照下面给您的步骤在计算机上安装ZooKeeper框架。 第1步：验证安装Java 假设你已经在系统上安装Java环境。只需使用下面的命令验证它。 $ java -version ...
2021-10-23 20:38:09
66
原创 数据元与元数据的区别和联系
元数据不可能涵盖理解数据元所要表示的数据所必需的所有信息。 数据元的相关信息是任何一个(组织的)元数据的一个完整的组成部分。 元数据的每一个元素都是一个数据元，用符合数据元标准的元数据属性和描述方法来说明元数据。 将元数据存储于一个库中，并使之条理化就需要建模，建模就需要从数据元的注册系统中或库中获取元数据。 元数据，它是以一种一致、标准的方式来表达的数据元。 元数据与数据元字典格式均由行号、中文名称、英文名称、标识符(短语)、定义、约束／条件、最大出现次数、数据类型、数据的值域等属性组成。不同之
2021-10-15 16:34:01
232
原创 Linux用户和用户组管理
Linux系统是一个多用户多任务的分时操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。 用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也可以帮助用户组织文件，并为用户提供安全性保护。 每个用户账号都拥有一个唯一的用户名和各自的口令。 用户在登录时键入正确的用户名和口令后，就能够进入系统和自己的主目录。 实现用户账号的管理，要完成的工作主要有如下几个方面： 用户账号的添加、删除...
2021-09-27 19:55:16
102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人