- 博客(12)
- 收藏
- 关注
RSS订阅原创 Kafka
文章目录1. Kafka 概述1.1. 消息队列1.2 为什么需要消息队列(优点)1.3 什么是 Kafka1.4 Kafka 架构2. Kafka集群部署2.1. 环境准备2.1.1. 集群规划2.1.2. jar 包下载2.2. Kafka 集群部署2.3. Kafka 命令行操作2.3.1. 查看当前服务器中的所有 topic2.3.2. 创建 topic2.3.3. 删除 topic2.3.4. 发送消息2.3.5. 消费消息2.3.6. 查看某个 Topic 的详情3.1. Kafka 生产过程分
2021-12-17 16:06:02
175
原创 spark 2.3读写Hbase
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录1. 简述1.官方支持2.SHC使用2.1. 下载源码、编译、上传2.2. 项目中引用2.3. 项目实战使用2.3.1.写入Hbase2.3.2. 读取Hbase1. 简述Spark 读写 Hbase 的官方参考资料较少，当前 Spark On Hbase 的驱动主要有两种实现，官方驱动和hortonworks的shc。官方的也是基于hortonworks的进行开发的，而且好像对spark的DataFrame支持不是很友好，
2021-12-16 15:59:53
1151
原创 presto
1. presto简介及架构1.1. presto简介1.2. 架构模型1.3. presto数据模型2. presto安装部署2.1. 下载相关包2.2. 解压下载的tar包2.3. 配置文件2.3.1. 节点属性2.3.2. JVM Config2.3.3. 配置属性2.3.4. 连接目录属性2.4. 启动presto2.5. 命令行界面3. presto Hbase Connector开发3.1. 方案概况3.2. 开发及使用
2021-12-16 15:23:23
1826
转载 Idea创建一个maven web项目
参考 https://www.cnblogs.com/weiqingfeng/p/9494914.html 文章1.首先先创建一个project,上次我说过了创建一个project就是一个工作空间，在这里就是创建一个maven的工作空间2.你要选择maven然后按照下面图片 的指示操作就可以了—》最后点击next按钮3.如图：4.这里如何设置自己的maven的本地仓库的位置，是通过修...
2020-02-12 21:40:44
165
原创 Hive优化-hive性能调优相关
1.概述 hive优化是个很复杂的工作，如果优化做的好，可以将任务运行时间缩短几倍甚至10几倍。在优化之前，需要对mapreduce任务的运行过程有个大概的认知，也需要对任务本身有个大致的了解，才能更好的根据任务运行情况（主要通过日志分析）来进行调优工作。以下是一些常见的调优手段，可以尝试以下。2.学会使用explain [extend]该关键字可以打印hive将查...
2019-08-14 23:50:32
203
原创 Hive系统讲解
1.hive中的变量1.查看所有的变量hive> set;2.变量及属性命名空间使用权限描述hivevar可读/可写用户自定义变量hiveconf可读/可写Hive相关的配置属性system可读/可写Java定义的配置属性env只可读shell环境定义的环境变量3.定义变量–define key=value 与 ...
2019-07-22 23:11:19
285
原创 Hive相关操作-分区-桶-udf
1.分区手动创建hive分区目录是无法被识别的。需要执行命令创建：alter table book add partition(dt="20190722") location '/user/hive/warehouse/mytest.db/book/dt=20190722'或者执行修复分区命令MSCK repair table book；2.元数据库hive自带有一个元数据库为d...
2019-07-22 22:33:09
223
转载 LVS负载均衡（LVS简介、三种工作模式、十种调度算法）---转载
一、LVS简介LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的...
2019-07-14 19:31:59
138
原创 CDH5.7.6-CentOS6安装
1.概述本文档主要描述离线环境下，CentOS6.7操作系统部署CDH5.7.6 的过程。本安装文档主要分为3个步骤：1.环境准备（包括hostname、关闭防火墙、关闭SELinux、时钟同步等）2.安装Cloudera Manager Server3.安装CDH集群1.1.环境预置操作系统：CentOS 6.7JDK: 1.8.0_171Mysql版本：5.1.73CM版本...
2019-07-05 00:17:51
582
原创 CDH集群中配置Hive高可用-zookeeper
【回顾】@CDH集群中配置Hive高可用-zookeeper本文主要讲述在CDH集群中，通过zookeeper实现Hive高可用配置的方法。1.配置Hive-site.xml文件登录cm，进入hive服务，在配置中搜索hive-site.xml配置项。增加如下配置<property><name>hive.server2.support.dynamic.servic...
2019-07-04 23:04:48
1853
原创 Linux主机命名规范
【回顾】@Linux主机命名规范及要求主机名只允许包含ascii字符里的数字0-9，字母a-z，A-Z。连字符 “-” 其他都不允许，例如，不允许出现其他标点符号( “.” 好像是可以的)，不允许有空格，不允许有下划线，不允许有中文字符。2.主机名的开头和结尾符不允许是连字符3.不要用数字开头，不要私用计算机特殊词汇，只用小写...
2019-07-04 22:36:46
2093
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人