weixin_44224310的博客

文章目录1. Kafka 概述1.1. 消息队列1.2 为什么需要消息队列(优点)1.3 什么是 Kafka1.4 Kafka 架构2. Kafka集群部署2.1. 环境准备2.1.1. 集群规划2.1.2. jar 包下载2.2. Kafka 集群部署2.3. Kafka 命令行操作2.3.1. 查看当前服务器中的所有 topic2.3.2. 创建 topic2.3.3. 删除 topic2.3.4. 发送消息2.3.5. 消费消息2.3.6. 查看某个 Topic 的详情3.1. Kafka 生产过程分

Yarn 日志管理相关 https://www.jianshu.com/p/83fcf7478dd7 转载

参考 https://www.cnblogs.com/weiqingfeng/p/9494914.html 文章 1.首先先创建一个project,上次我说过了创建一个project就是一个工作空间，在这里就是创建一个maven的工作空间 2.你要选择maven然后按照下面图片 的指示操作就可以了—》最后点击next按钮 3.如图： 4.这里如何设置自己的maven的本地仓库的位置，是通过修...

一、LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的...

1.分区 手动创建hive分区目录是无法被识别的。 需要执行命令创建： alter table book add partition(dt="20190722") location '/user/hive/warehouse/mytest.db/book/dt=20190722' 或者执行修复分区命令 MSCK repair table book； 2.元数据库 hive自带有一个元数据库为d...

1.hive中的变量 1.查看所有的变量 hive> set; 2.变量及属性 命名空间 使用权限 描述 hivevar 可读/可写 用户自定义变量 hiveconf 可读/可写 Hive相关的配置属性 system 可读/可写 Java定义的配置属性 env 只可读 shell环境定义的环境变量 3.定义变量 –define key=value 与 ...

1.概述 hive优化是个很复杂的工作，如果优化做的好，可以将任务运行时间缩短几倍甚至10几倍。在优化之前，需要对mapreduce任务的运行过程有个大概的认知，也需要对任务本身有个大致的了解，才能更好的根据任务运行情况（主要通过日志分析）来进行调优工作。以下是一些常见的调优手段，可以尝试以下。 2.学会使用explain [extend] 该关键字可以打印hive将查...