虚拟机flink webui无法访问

最新推荐文章于 2024-10-25 15:56:35 发布

原创最新推荐文章于 2024-10-25 15:56:35 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

Author:baiyun ,Email:mitbaiyun@163.com

文章标签：

#flink #大数据

大数据数仓专栏收录该内容

34 篇文章

订阅专栏

本文解决从YARN环境中无法直接访问Flink Web UI的问题。通过在hosts文件中添加对应IP地址与主机名的映射，实现跨系统的正常跳转访问。

从yarn 跳转至flink webui无法访问，可能是ip地址未进行映射

在C:\Windows\System32\drivers\etc\hosts，增加如下配置，然后替换保存

192.168.138.102 hadoop102
192.168.138.103 hadoop103
192.168.138.104 hadoop104

http://hadoop103:8088/proxy/application_1667615968477_0001/#/overview

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BigData-0

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

Flink学习排查问题---Flink部署web端无法连接问题

weixin_44388067的博客

06-08

5003

项目场景：Flink部署web端无法连接问题问题描述：电脑：win10 虚拟机：centos7 flink：1.10.1 在默认配置环境下，正常启动Flink显示启动成功后，访问localhost:8081无法正常访问但是输入网站localhost:8081后：web端连接时出现此界面原因分析： 1、检查防火墙是否关闭？ 2、关闭防火墙不能解决问题时，就要检查8081端口是否被占用？ 3、查看虚拟机的网卡信息，是否配置虚拟网卡？解决方案： 1、检查防火墙是否关闭关闭防火墙 :

Flink本地运行webUI无法访问显示{“errors“:[“Not found.“]} 解决办法

Johnson8702的博客

05-13

5392

一、问题描述在本地运行flink程序，希望可以通过webUI界面查看作业运行情况。 pom文件（局部） <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://m

参与评论您还未登录，请先登录后发表或查看评论

Flink docker 容器运行环境下不能够从Web UI 查看 Logs 以及Stdout的解决办法

Allocator的优快云博客

06-19

7819

背景最近业务需要使用Flink, 于是把之前Flink的相关技术拿出来重新回顾一下, 于是想起这个之前一直没有去解决的问题. 本文主要讲解如何解决这一问题以及发生这个问题的根本原因. 运行Flink 官方docker image 此处不多说,访问docker hub flink官方的Image. 选择自己需要版本的flink官方镜像(此处我选的是flink:scala_2.11 因为要使用到scala shell所以选的scala版本不是最新的) 然后按照官方给的docker-compose 文件简单改动

Flink Web UI不能访问

weixin_38988171的博客

07-27

7452

Flink Web UI无法正常访问排查过程

Flink的web界面无法访问

xkai957的博客

07-03

3668

Flink web界面访问

flink-web：Apache Flink网站

02-05

该存储库包含Flink网站： : 。您可以在以下位置找到此存储库的说明： : 。在本地测试更改您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。作为此调用的一部分传递的参数将转发到build.sh 。 # ...

浏览器连不上 Flink WebUI 8081 端口

奇迹虎虎的博客

08-18

9914

安装flink-1.15.1 后，start-cluster.sh 启动，发现浏览器连不上 Flink WebUI 的8081端口。解决方法：打开 flink-1.15.1/conf/flink-conf.yaml 文件，修改为：rest.bind-address: 0.0.0.0

Flink的job提交全流程及web ui提交任务方式

MyNameIsWangYi的博客

08-19

4119

Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。其实本来觉得这篇文章不需要写的，但是在网上搜了一下，有的提交的时候参数写的不全，还有的居然是收费文章！随后左边的就可以看见tm和jm的状态了。

Windows/虚拟机如何访问FlinkUI页面

fvyutk的博客

01-23

967

虚拟机：直接访问http://127.0.0.1:8081

虚拟机运行flink后，主机无法打开web-ui页面

Wyunpeng的博客

01-17

7114

看着官方文档一步一步学习flink，将其部署到Linux上之后，想打开web-UI页面看一下，但此时却无法打开该页面：第一反应是没有关闭虚拟机的防火墙导致的， // 查看防火墙状态 systemctl status firewalld // 关闭防火墙 systemctl stop firewalld 如图所示，确实没有关闭，执行上面关闭防火墙的命令有试了一下，但还是无法打开. 这时候感觉可能就不是虚拟机的问题了，再看了下我的路径，才注意到谷歌浏览器使用的是https而不是http，改成http，成功

【问题解决】Flink在linux上运行成功但是无法访问webUI界面

东皋长歌的专栏

10-25

2130

在搭建Flink的时候，已经在linux服务器上运行了./start-cluster.sh，而且日志显示已经成功了。正常来说应该能通过ip:8081来访问(8081是Flink WebUI的默认端口)，但是访问的时候，显示访问拒绝。然后就可以通过ip:8081端口（可以在上面修改rest.port来实现，默认是8081）来访问了。进入到Flink目录的下conf目录，vi flink-conf.yaml。改完之后保存，重启Flink。服务器上也没有开启防火墙。

flink在Windows上安装时出现webUI拒绝连接

m0_63972480的博客

10-08

714

我再次启动flink，发现我的java程序会自己关掉，于是flink此时还用不了，那么应该是跟Java的配置有关系，flink的安装部署需要jdk版本在1.8以上，我的电脑安的是1.8，但是我使用cmd查看的时候显示我的版本是19，我又去看了我配的Java的环境变量以及对应的目录里到底有没有这个文件，结果都是正确的，我想起来我之前还下过19的Java但是不知道安在哪里去了，删没删。我又一次仔细地排查了一下我Java的环境变量配置，发现在path用户变量列表里，有多个Java配置，于是我把我配好的。

Flink web UI 打开不了解决办法

againme的博客

03-05

4011

flink web开启不了

flink启动后web访问问题

lubingxue7048的专栏

11-01

5902

在执行./start-cluster.sh 后，flink进程的监听ip端口是。这样只能本机进行访问，外部服务器是访问不了的，出现这个问题的原因是flink的。所以启动后就解析到127.0.0.1了。, 进程启动时会按照这个主机名从。

hyper-v虚拟机拒绝访问服务器,Hyper-V虚拟机启动提示一般性拒绝访问错误

weixin_42525353的博客

08-05

1779

Windwos 8.1 专业版Hyper-V虚拟机启动提示一般性拒绝访问错误。在网上查到使用以下命令解决icacls /grant "NT VIRTUAL MACHINE\":F但是提示PS C:\Windows\system32> icacls "C:\Users\Public\Documents\Hyper-V\Virtual hard disks\Windows Server 201...

【flink单机运行，外部客户端无法访问UI页面】

weixin_39433762的博客

05-24

1189

解决外部客户端访问不了虚拟机中单机flink的web ui页面

flink1.17.0 jdk11服务的可以启动，web端无法访问

小猴子学写代码

08-01

656

当前linux的ip地址，[localhsot，0.0.0.0]无效。

在yarn的web原生界面上，点击ApplicationMaster无法看到SparkWebUi界面的问题解决

爱折腾的小土豆的博客

07-02

876

Yarn web proxy是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为以独立模式运行。代理的原因是为了缓解RM访问请求压力，也可以减少通过YARN进行基于网络的攻击的可能性。

Flink本地运行webUI无法访问显示{“errors“:[“Not found.“]}

启迪思维，精进技术

08-31

1297

前言本地运行，有时需要借助web ui 看一些参数和执行图。提高开发效率。不用每次都要打包到服务器。 1.本地运行需要的依赖  <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.12</artifactId>

在虚拟机上利用kafka和flink搭建一个实时数据处理系统

最新发布

06-17

<think>我们参考用户的问题：如何在虚拟机中使用Kafka和Flink构建实时数据处理系统？根据引用内容，我们可以知道：1.Kafka是一个分布式消息系统，用于收集和传输大量数据（引用[3]）2.Flink是一个流处理框架，可以与Kafka紧密集成（引用[1]）3.需要配置Kafka（引用[2]）和Flink（引用[5]提供了部分代码示例）步骤：1.准备虚拟机环境（假设已经安装好Linux系统，如Ubuntu）2.安装和配置Kafka3.安装和配置Flink4.编写Flink程序从Kafka读取数据并处理5.运行和测试详细步骤：一、安装和配置Kafka（参考引用[2]）1.下载Kafka二进制包（如kafka_2.13-3.1.0.tgz）2.解压到指定目录，例如：/opt/kafka3.配置Kafka：-修改config/server.properties文件-设置broker.id（每个broker唯一）、listeners（监听地址，如PLAINTEXT://:9092）、log.dirs（日志目录）、zookeeper.connect（ZooKeeper地址，默认localhost:2181）4.启动ZooKeeper（Kafka自带，也可单独安装）：bin/zookeeper-server-start.shconfig/zookeeper.properties5.启动Kafka服务器：bin/kafka-server-start.shconfig/server.properties6.创建主题（topic）：bin/kafka-topics.sh--create--topictest-topic--bootstrap-serverlocalhost:9092--partitions1--replication-factor1二、安装和配置Flink1.下载Flink二进制包（如flink-1.14.4-bin-scala_2.11.tgz）2.解压到指定目录，例如：/opt/flink3.配置Flink：-修改conf/flink-conf.yaml，调整参数（如taskmanager.numberOfTaskSlots，根据虚拟机资源调整）-启动Flink集群：bin/start-cluster.sh4.检查FlinkWebUI（默认http://localhost:8081）确认集群启动三、编写Flink程序（使用Java或Python，这里以Python为例，引用[5]提供了窗口计算的代码示例）1.安装PyFlink：pipinstallapache-flink2.编写程序（例如：kafka_flink_consumer.py），从Kafka读取数据，进行处理（如简单的单词计数或窗口聚合），然后输出。注意：需要添加Kafka连接器的依赖（在Python中，通过添加jar包的方式）示例代码（参考引用[5]的窗口操作，并整合KafkaSource）：由于PyFlink的Kafka连接器需要指定版本，我们需要在创建环境时添加相应的jar包。步骤：a.下载flink-sql-connector-kafka的jar包（与Flink版本匹配），放到Flink的lib目录下（或者通过Python代码指定）b.编写代码示例代码（单词计数）：```pythonfrompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.connectorsimportFlinkKafkaConsumerfrompyflink.common.serializationimportSimpleStringSchemafrompyflink.common.typeinfoimportTypesfrompyflink.datastream.windowimportTumblingProcessingTimeWindowsfrompyflink.commonimportTimeenv=StreamExecutionEnvironment.get_execution_environment()#添加Kafka连接器jar包（如果不在Flink的lib目录下，需要添加）env.add_jars("file:///path/to/flink-sql-connector-kafka_2.11-1.14.4.jar")#配置Kafka消费者kafka_props={'bootstrap.servers':'localhost:9092','group.id':'test-group'}kafka_source=FlinkKafkaConsumer(topics='test-topic',deserialization_schema=SimpleStringSchema(),properties=kafka_props)#添加Kafka源data_stream=env.add_source(kafka_source)#处理数据：拆分单词并计数split_stream=data_stream.flat_map(lambdaline:line.split(),output_type=Types.STRING())word_counts=split_stream.map(lambdaword:(word,1),output_type=Types.TUPLE([Types.STRING(),Types.INT()]))\.key_by(lambdax:x[0])\.window(TumblingProcessingTimeWindows.of(Time.seconds(5)))\.reduce(lambdaa,b:(a[0],a[1]+b[1]))#打印结果（实际应用中应使用其他sink，如Kafka、文件等）word_counts.print()env.execute("KafkaFlinkWordCount")```注意：以上代码是示例，实际运行需要确保Kafka中有数据产生。四、运行程序1.启动Kafka生产者，向test-topic发送消息：bin/kafka-console-producer.sh--topictest-topic--bootstrap-serverlocalhost:90922.运行Flink程序（在Python环境中运行上面的脚本）3.在生产者中输入一些单词，观察Flink程序输出五、扩展：将处理结果输出到Kafka或其他存储（如MySQL，参考引用[4]）注意事项：-虚拟机资源有限，注意调整Kafka和Flink的配置（如内存、并行度等）-确保Kafka和Flink的版本兼容性-如果需要端到端的exactly-once语义，需要配置Flink的checkpoint和Kafka的事务（参考引用[1]）以上就是在虚拟机中使用Kafka和Flink构建实时数据处理系统的基本步骤。相关问题：1.如何配置Flink和Kafka以实现端到端的exactly-once语义？2.Flink处理Kafka数据时，如何设置水位线（watermark）来处理事件时间？3.在虚拟机中部署时，如何优化Kafka和Flink的性能？</think>### 在虚拟机中搭建 Kafka 和 Flink 实时处理系统 #### 一、环境准备 1. **虚拟机配置** - 建议分配至少 **4核CPU + 8GB内存**（Kafka和Flink均为资源密集型系统） - 安装Linux系统（如Ubuntu 20.04） 2. **依赖安装** ```bash # 安装Java（需JDK 11+） sudo apt update sudo apt install openjdk-11-jdk ``` #### 二、Kafka 安装与配置（参考引用[2]） 1. **下载与解压** ```bash wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz tar -xzf kafka_2.13-3.6.0.tgz cd kafka_2.13-3.6.0 ``` 2. **修改配置文件** 编辑 `config/server.properties`： ```properties broker.id=0 listeners=PLAINTEXT://:9092 # 监听地址 log.dirs=/tmp/kafka-logs # 日志目录 zookeeper.connect=localhost:2181 # Zookeeper地址 ``` 3. **启动服务** ```bash # 启动Zookeeper（单节点模式） bin/zookeeper-server-start.sh config/zookeeper.properties & # 启动Kafka bin/kafka-server-start.sh config/server.properties & ``` 4. **测试消息队列** ```bash # 创建测试主题 bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 # 生产消息 echo "Hello Kafka" | bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092 # 消费消息 bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092 ``` #### 三、Flink 安装与配置（参考引用[1][5]） 1. **下载与解压** ```bash wget https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz tar -xzf flink-1.17.1-bin-scala_2.12.tgz cd flink-1.17.1 ``` 2. **启动集群** ```bash # 启动单机集群 bin/start-cluster.sh # 访问Web UI: http://虚拟机IP:8081 ``` #### 四、实时处理流水线开发（Python示例，参考引用[5]） ```python from pyflink.datastream import StreamExecutionEnvironment from pyflink.datastream.connectors.kafka import FlinkKafkaConsumer from pyflink.common.serialization import SimpleStringSchema from pyflink.common.typeinfo import Types from pyflink.datastream.window import TumblingProcessingTimeWindows # 1. 创建执行环境 env = StreamExecutionEnvironment.get_execution_environment() env.add_jars("file:///path/to/flink-sql-connector-kafka-1.17.1.jar") # Kafka连接器 # 2. 配置Kafka Source kafka_props = {'bootstrap.servers': 'localhost:9092', 'group.id': 'flink-group'} kafka_source = FlinkKafkaConsumer( topics='sensor-data', deserialization_schema=SimpleStringSchema(), properties=kafka_props) # 3. 定义处理逻辑 ds = env.add_source(kafka_source) \ .map(lambda x: (x.split(",")[0], float(x.split(",")[1])), output_type=Types.TUPLE([Types.STRING(), Types.FLOAT()])) \ .key_by(lambda x: x[0]) \ .window(TumblingProcessingTimeWindows.of(Time.seconds(10))) \ .reduce(lambda a, b: (a[0], a[1] + b[1])) # 4. 输出结果（可替换为Kafka Sink或JDBC Sink） ds.print() # 5. 执行任务 env.execute("Realtime_Processing") ``` #### 五、系统测试 1. **向Kafka发送测试数据** ```bash # 模拟传感器数据 echo "sensor1,25.3" | kafka-console-producer.sh --topic sensor-data --bootstrap-server localhost:9092 ``` 2. **在Flink UI中观察** - 任务状态：`http://虚拟机IP:8081` - 处理结果将在Flink控制台输出 #### 六、生产环境优化建议 1. **Kafka优化** - 增加分区数提升并行度 - 设置 `replication.factor≥2` 保证高可用 2. **Flink优化** - 启用Checkpoint实现容错： ```java env.enableCheckpointing(5000) // 5秒间隔 ``` - 使用事件时间（EventTime）处理乱序事件 3. **端到端精确一次语义**（参考引用[1]）在Flink配置中添加： ```properties execution.checkpointing.mode: EXACTLY_ONCE connector.kafka.delivery-guarantee: exactly-once ``` --- ### 关键注意事项 1. **资源隔离** - Kafka和Flink建议部署在不同虚拟机避免资源竞争 - 使用Docker容器化部署更佳（参考引用[4]） 2. **版本兼容性** | 组件 | 推荐版本 | 兼容要求 | |------------|----------|------------------| | Kafka | 3.6.x | 需匹配Flink连接器 | | Flink | 1.17.x | JDK 11+ | | Python API | pyFlink | ≥1.16 | --- ### 相关问题 1. 如何实现 Kafka→Flink→MySQL 的端到端实时管道？ 2. Flink 处理 Kafka 数据时出现延迟飙升的可能原因有哪些？ 3. 在资源有限的虚拟机中如何优化 Kafka 和 Flink 的内存配置？ 4. 如何监控 Kafka+Flink 实时系统的健康状态？ 5. 怎样保证 Kafka 数据消费的 exactly-once 语义？ [^1]