
大数据
主业烤冷面
这个作者很懒,什么都没留下…
展开
-
Kafka-Manager集群可视化管理工具安装及使用
一、下载官网地址:http://www.kafka-eagle.org/articles/docs/changelog/changelog.html二、解压缩原创 2020-10-13 11:37:47 · 936 阅读 · 0 评论 -
linux安装kafka2.6.0集群及实战案例
一、环境准备和安装确保linux服务器上已经安装好jdk环境,未安装的请参考Linux上安装jdk1.8版本,rpm和tar.gz两种方式最全教程1. 下载kafka官网下载地址:https://kafka.apache.org/downloads,当前最新版本如下,2.12是Scala版本(kafka是Scala语音编写的),2.6.0是kafka版本。压缩包下载后上传到服务器自定义目录,我的是/data目录下,解压压缩包,后重名为kafka方便后续操作。2. 解压缩..原创 2020-10-09 19:36:26 · 840 阅读 · 0 评论 -
Elasticsearch7.x索引index的备份和恢复,index索引误删恢复
Elasticsearch不仅提供了索引副本分片功能,还支持全索引备份,尤其适合index索引误删或者数据丢失的情况。具体实现方式是,创建索引备份仓库→备份索引快照到仓库→查询索引备份仓库中快照列表→从备份快照中恢复索引。三个概念:仓库(repository)、快照(snapshot)、索引(index)为了方便理解,仓库可以理解为一台服务器,快照理解为数据库database,索引理解为表table。因此可以创建多个仓库,仓库中可以创建多个快照,快照中可以储存多个索引。通常只需要创建一个仓库,仓原创 2020-09-18 18:57:22 · 7161 阅读 · 0 评论 -
java读取、写入kafka数据流
import org.apache.kafka.clients.consumer.*;import java.util.Collections;import java.util.Properties;public class jkafka_demo { public static void main(String[] args) throws Exception { try { Properties props = new Properties(); props.put(.原创 2020-08-31 18:13:12 · 4667 阅读 · 1 评论 -
Elasticsearch7.×集群搭建,生命周期策略ilm_policy、索引模板template管理(二)
网上较多的是6.×版本及以下集群的搭建,亲测7.6版本搭建环境如下:设备:三台服务器192.168.11.21、192.168.11.22、192.168.11.23均安装好ES7.6版本环境,其中192.168.11.23安装kibana思路:因为我只有三台服务器,并且还想演示生命周期,所以配置两台hot节点,一台warm节点,cold节点暂时不要了首先配置Elasticsearch.yml文件,只展示必要配置信息,想了解更多配置详见:ES7.×集群搭建,Elasticsearch.yml配置原创 2020-08-10 16:30:59 · 1391 阅读 · 0 评论 -
Hive表基本操作
1.进入hive数据库[root@emr-root]# hive在hive数据库操作注意命令后面的分号“;”不要丢了2.查看数据库列表[root@emr-root]# show databases;3.进入数据库[root@emr-root]# use databaseName;4.查看数据库下的表列表[root@emr-root]# show tables;5.查看表结构字段[root@emr-root]# desc tableName;6.查询操作原创 2020-07-21 11:06:06 · 171 阅读 · 0 评论 -
Elasticsearch7.X语法教程大全,日积月累
Elasticsearch原创 2020-06-29 18:27:53 · 3181 阅读 · 1 评论