- 博客(19)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Spark2消费Kafka中的Protocol Buffer3（Protobuf）数据
运行环境集群环境：CDH6CDH版本号：6.2.0-1.cdh6.2.0.p0.967373Protocol Buffer3的使用创建Maven项目，导入Protocol Buffer3依赖，注意：这里导入依赖的版本要和下面下载的Protocol Buffer3包一致，此处使用3.15.4 <dependency> <groupId>com.google.protobuf</groupId> &l
2021-03-05 17:26:51
882
1
原创 Logstash安装与测试(Centos 7)
系统环境系统版本：Centos 7JDK版本：1.8Logstash版本：7.0.0安装Logstash安装Java 8或Java 11，可以使用OpenJDK或者是Oracle发行版，配置JAVA_HOME环境变量；下载Logstash安装包，以下示例使用.tar.gz包，手动下载链接为：https://www.elastic.co/downloads也可以通过Linux...
2019-08-16 11:02:49
2330
原创 Elasticsearch开启X-PACK后客户端的配置方式
Elasticsearch-Spark添加es.net.http.auth.user和es.net.http.auth.pass配置参数，例如： val conf = new SparkConf() .setAppName(this.getClass.getSimpleName) .setMaster("local[*]") .set("es.inde...
2019-07-12 18:24:03
3472
翻译 Druid配置——Kafka Indexing Service（Kafka索引服务）
Kafka Indexing ServiceKafka索引服务可以在Overlord上配置，通过管理Kafka索引任务的创建和生命周期来促进Kafka的消费。这些索引任务使用Kafka自己的分区和偏移机制读取事件，因此能够提供完全一次摄取的保证。他们还能够从Kafka读取非近期事件，并且不受使用Tranquility对其他摄取机制施加的窗口期限的影响。主管监督索引任务的状态，以协调切换，管理故障...
2019-07-05 16:34:51
1937
1
翻译 Druid配置——Ingestion Spec（摄取规范）
Ingestion Spec（摄取规范）Apache Druid ingestion spec 由三个部分组成：{ "dataSchema" : {...}, "ioConfig" : {...}, "tuningConfig" : {...}}字段类型描述是否必须dataSchemaJSON Object指定传入数据的Schema。所有Inges...
2019-07-05 16:33:45
2639
原创 Apache Commons CLI 1.4 （命令行选项解析工具）的简单使用
Commons CLI简介Apache Commons CLI库提供了一个API，用于解析传递给程序的命令行选项。它还能够打印详细说明命令行工具可用选项的帮助消息。Commons CLI显示的典型帮助消息如下所示：usage: ls -A,--almost-all do not list implied . and .. -a,--all ...
2019-07-03 16:32:59
1407
原创 IntelliJ IDEA 2018.3常用配置图解
软件版本IntelliJ IDEA 2018.3简介IDEA的优势（相对Eclipse）1.强大的整合能力。比如：Git、Maven、Spring等2.提示功能的快速、便捷3.提示功能的范围广4.好用的快捷键和代码模板5.精准搜索安装目录结构bin容器，执行文件和启动参数等help快捷键文档和其他帮助文档jre6464 位java 运行环境libidea 依...
2018-12-22 11:54:33
7414
1
原创 使用Shell脚本一键部署Hadoop
测试环境Linux系统版本：CentOS 7实现功能1、Java环境一键配置2、Hadoop单机版一键安装3、Hadoop伪分布式一键安装4、Hadoop集群部署5、伪分布式hadoop初始化6、集群设置SSH免密登录（使用hadoop用户操作）脚本说明部署Hadoop环境过程比较繁琐，还容易出错，写了一个Shell脚本用来一键部署，废话不多说，下面直接上代码。集群部署的...
2018-10-24 20:14:45
6744
原创 CentOS 7常用基本命令整理
重启命令立刻重启(root用户使用)rebootshutdown -r nowinit 610分钟后自动重启(root用户使用)shutdown -r 10 在时间为20:35时候重启(root用户使用)shutdown -r 20:35 如果是通过shutdown命令设置重启的话，可以取消重启shutdown -c关机命令立刻关机(root用...
2018-10-20 12:04:22
37874
5
原创 CentOS 7部署Hadoop集群（HA高可用集群）
目录测试环境Hadoop 组织框架HDFS架构YARN架构HA集群部署规划自动故障转移关于集群主机时间Linux环境搭建配置Java环境安装单机版HadoopZookeeper集群安装配置环境变量关闭防火墙修改hosts文件配置SSH免密登录修改Hadoop配置文件Hadoop集群的初始化Hadoop集群的启动测试环境...
2018-10-12 11:00:25
1888
1
原创 CentOS 7部署Hadoop集群（完全分布式）
目录测试环境集群服务器节点与进程集群部署规划搭建Linux系统配置Java环境安装单机版Hadoop配置环境变量关闭防火墙修改hosts文件配置SSH免密登录修改Hadoop配置文件HDFS初始化启动Hadoop查看服务器进程启动HDFS和YARN的web管理界面测试环境Linux系统版本：CentOS 7 64位Hadoop...
2018-10-04 16:49:42
1519
原创 CentOS 7部署Hadoop（伪分布式）
目录测试环境安装CentOS 7配置Java环境配置单机版Hadoop配置SSH免密登录修改Hadoop配置文件关闭防火墙HDFS初始化启动Hadoop关闭Hadoop测试环境Linux系统版本：CentOS 7 64位Hadoop版本：hadoop-2.7.3Java版本：jdk-8u181-linux-x64安装CentOS 7V...
2018-10-03 22:01:03
3188
原创 CentOS 7部署Hadoop（单机版）
目录测试环境Hadoop部署方式介绍安装CentOS 7配置Java环境Hadoop单机版安装Hadoop环境变量配置测试测试环境Linux系统版本：CentOS 7 64位Hadoop版本：hadoop-2.7.3Java版本：jdk-8u181-linux-x64Hadoop部署方式介绍Hadoop部署方式分三种：Standalone Mod...
2018-10-03 12:52:44
3799
2
原创 Linux系统下安装Java环境
目录测试环境下载JDK终端模拟软件安装前准备tar包的安装方法tar包的卸载rpm包的安装方法rpm包的卸载测试环境LInux系统版本：CentOS 7 64位终端模拟软件：Xshell 6Java版本：jdk-8u181-linux-x64下载JDK下载地址：https://www.oracle.com/technetwork/jav...
2018-10-02 18:11:24
163444
18
原创 VMware虚拟机安装Linux系统(Centos 7)
目录目录测试环境VMware虚拟机的三种网络模式VMware虚拟机安装CentOS安装CentOS设置CentOS测试相关推荐测试环境操作系统：Windows 10, 64-bit虚拟机：VMware® Workstation 14 Pro（版本号：14.0.0 build-6661328）Linux镜像版本：CentOS-7-x86_64-DVD-...
2018-10-02 14:27:09
59363
41
原创 在Windows中安装Hadoop（非虚拟机安装）
在Windows中安装Hadoop操作系统：Windows 10Hadoop版本:hadoop-2.7.3JDK版本：jdk-8u181-windows-x64.exe配置Java环境变量Hadoop底层实现语言是Java，所以我们在运行Hadoop时是需要Java运行环境的。下载好jdk之后按照提示安装，这里就不演示了，安装完成之后在DOS命令窗(运行cmd)输入:...
2018-10-01 11:54:05
9147
21
原创 Eclipse中Git插件的简单使用
测试环境操作系统：Windows 10 软件版本：Eclipse Neon（4.6） Eclipse IDE for Java EE GitHub简介GitHub是用于版本控制和协作的代码托管平台。它可以让您和其他人在任何地方协同工作[1]。 关于Git和GitHub部分资源来源于网络，若想了解更多可点击下面链接查看：[1] GitHub官方教程：https://...
2018-09-15 11:41:36
1831
原创 Linux系统配置SSH免密登录(多主机互通)
本文测试环境:Linux系统镜像:CentOS-7-x86_64-DVD-1804.iso 虚拟机版本:VMware-workstation-full-12.1.0-3272444操作成功后的效果: 每台主机可以本机SSH免密登录,也可以与其他主机之间实现SSH免密登录,也就是每台主机都可以一对多SSH免密登录.现用虚拟机搭建三台主机,IP分别是: 192.168.33.201 ...
2018-08-26 20:16:11
6044
7
原创 在Windows中安装Hadoop常见错误解决方法
本文的是在Windows10系统中运行的情况,其他版本的系统需自己尝试以下解决办法;Hadoop版本:hadoop-2.7.3Windows系统中Hadoop的具体配置方法在此就不赘述了,请自行查阅相关文档,下面直接开始上问题解决方法:错误一:Error: JAVA_HOME is incorrectly set. Please update D:\hadoop\ha...
2018-08-26 13:31:21
16506
16
Windows系统Hadoop包
2018-08-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人