17611119847

线上Flink任务重启时，提交任务失败，具体报错如下： 2021-12-31 18:09:19 java.lang.NumberFormatException: For input string: "30s" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Long.parseLong(Long.java:589) at java.lang.Long.parseL

flink1.12 提交Job 时 Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder; 完整报错信息： Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.c

使用MapReduce实现定图的最小生成树如何实现计算最小生成树什么是最小生成树最小生成树的性质使用`Kruskal`算法实现最小生成树Kruskal算法简述实现逻辑MapReduce实现`Kruskal`算法 如何实现计算最小生成树 什么是最小生成树 在一给定的无向图G = (V, E) 中，(u, v) 代表连接顶点 u 与顶点 v 的边（即），而 w(u, v) 代表此边的权重，若存在 T 为 E 的子集（即）且为无循环图，使得 w(T)=∑(u,v)∈tw(u,v)w(T) = \sum_{(u,

Hbase伪分布式搭建 引言 Hbase伪分布式搭建是指在一台机器上同时运行 Hmaster、 Hregionserver，该文章基于Hadoop伪分布式搭建 Hadoop伪分布式搭建传送门 搭建过程 Zookeeper安装 将Zookeeper压缩包上传至服务器 解压缩Zookeeper二进制文件 [root@CentOS ~]# tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/install/c 进入Zookeeper根目录 [root@CentOS ~]#

Hive安装前提环境Hive安装解压文件修改配置文件HDFS创建Hive工作空间配置Hive环境变量Hive启动替换Hive原生MetaStore 前提环境 Linux基础设置以及Hadoop环境安装请看上一篇文章 Hive安装 解压文件 [root@localhost ~]# tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/install/ 修改配置文件 [root@localhost apache-hive-1.2.2-bin]# cd /opt/in

Hadoop伪分布式搭建虚拟机准备阶段操作安全设置防火墙相关指令关闭关闭selinuxIP设置查看机器IP修改主机名修改IP及主机名映射SSH免密登陆Hadoop伪分布式搭建JDK配置解压配置环境变量Hadoop配置解压文件修改配置文件配置Hadoop环境变量验证环境变量是否配置成功格式化NameNodeHadoop起停命令查看WebUI界面 虚拟机准备阶段操作 本文是基于CentOS 7 系统搭建 相关资源下载 链接:https://pan.baidu.com/s/1FW228OfyURxEgnXW0qq

Spark Streaming学习 Spark流计算

Spark RDD算子使用方法 spark算子语法

Apache Flume介绍架构Flume环境搭建配置文件结构快速入门启动Avro SourceMaven依赖代码Avro Source | memory channel| Kafka SinkFlume和log4j整合依赖log4j.properties测试代码Spring Boot logback整合 FlumeSpringBoot项目组引入logback.xml集成 Flume +log...

HiveHive引言Hive的运行原理Hive环境搭建Hive基本操作MetaStore的替换问题 Hive引言 什么是Hive hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目。 hive.apache.org hive是一个基于大数据技术的数据仓库技术 DataWareHouse (数仓) 数据库 DataBas...

HBaseHbase的引言什么是HBaseNoSQL特点NoSQL分类Hbase存储的逻辑结构Hbase伪分布式环境的搭建Hbase的shell命令HBase 集群搭建1.时间同步集群2.Hadoop集群搭建3. Zookeeper集群4. HBase集群HBase JAVA APIMaven依赖方法HBase中的过滤器HBase中列簇相关的属性HBase 体系结构1.RegionServer2....

HDFS分布式集群搭建【高级版】HDFS集群要保证NameNode的高可用性，为了让NameNode更安全，这里选择用ZooKeeper集群来保证环境及准备zookeeper集群的搭建HA-HDFS分布式集群搭建 HDFS集群要保证NameNode的高可用性，为了让NameNode更安全，这里选择用ZooKeeper集群来保证 环境及准备 同上篇普通版 zookeeper集群的搭建 下载并解压z...

本地上传文件到HDFS利用Redis去重 前言： HDFS存储数据块的同时还会存储数据的MD5加密校验和用来判断该数据是否完整 下面代码就是模仿这个特性做了一个小功能进行上传时内容去重 技术选型 springboot Redis Hadoop JSP Maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project x...

HDFS分布式集群搭建【基础版】环境：以CentOS6.5为例(3个节点)准备配置文件修改NameNode格式化启动|停止hadoop【在NameNode节点运行】shell访问HDFS浏览器访问HDFC 环境：以CentOS6.5为例(3个节点) 防火墙关闭并关闭自启 selinux设置关闭 设置主机名 设置主机映射 jdk1.7 ssh免密登陆 hadoop-2.5.2 准备 解压hado...