flink-helloword

这篇博客介绍了如何使用Apache Flink进行实时流处理。首先,展示了如何编写一个简单的`HelloWorld` Scala程序,该程序从输入元素中计算单词频率并打印结果。然后,讲解了如何通过命令行和UI两种方式提交Flink作业:通过命令行执行`./bin/flink run jarName.jar`,或者在Flink Web UI(http://localhost:8081/#/overview)上填写入口类并提交任务。

安装启动flink 后我们跑一个demo。

demo如下:

package org.myorg.quickstart

import org.apache.flink.streaming.api.scala._

object HelloWorld {
  def main(args: Array[String]): Unit = {

    val env = StreamExecutionEnvironment.getExecutionEnvironment
    val text = env.fromElements("1212w")
    val counts = text.map {
      _.toLowerCase
    }

    counts.print()

    env.execute("HelloWord")
  }
}
  1. 在项目根目录下执行mvn package
  2. 提交任务
    1.通过命令提交
    ./bin/flink run jarName.jar
    
    2.通过ui提交,并填写入口class,提交任务
    http://localhost:8081/#/overview
    在这里插入图片描述
[hadoop@hadoop01 flink]$ cd log [hadoop@hadoop01 log]$ ls flink-hadoop-scala-shell-local-hadoop01.log flink-hadoop-standalonesession-0-hadoop01.log flink-hadoop-standalonesession-0-hadoop01.out flink-hadoop-standalonesession-10-hadoop01.log flink-hadoop-standalonesession-10-hadoop01.out flink-hadoop-standalonesession-11-hadoop01.log flink-hadoop-standalonesession-11-hadoop01.log.1 flink-hadoop-standalonesession-11-hadoop01.log.2 flink-hadoop-standalonesession-11-hadoop01.out flink-hadoop-standalonesession-11-hadoop01.out.1 flink-hadoop-standalonesession-11-hadoop01.out.2 flink-hadoop-standalonesession-12-hadoop01.log flink-hadoop-standalonesession-12-hadoop01.out flink-hadoop-standalonesession-7-hadoop01.log flink-hadoop-standalonesession-7-hadoop01.out flink-hadoop-standalonesession-8-hadoop01.log flink-hadoop-standalonesession-8-hadoop01.out flink-hadoop-standalonesession-9-hadoop01.log flink-hadoop-standalonesession-9-hadoop01.out flink-hadoop-taskexecutor-0-hadoop01.log flink-hadoop-taskexecutor-0-hadoop01.out flink-hadoop-taskexecutor-10-hadoop01.log flink-hadoop-taskexecutor-10-hadoop01.log.1 flink-hadoop-taskexecutor-10-hadoop01.log.2 flink-hadoop-taskexecutor-10-hadoop01.out flink-hadoop-taskexecutor-10-hadoop01.out.1 flink-hadoop-taskexecutor-10-hadoop01.out.2 flink-hadoop-taskexecutor-11-hadoop01.log flink-hadoop-taskexecutor-11-hadoop01.out flink-hadoop-taskexecutor-6-hadoop01.log flink-hadoop-taskexecutor-6-hadoop01.out flink-hadoop-taskexecutor-7-hadoop01.log flink-hadoop-taskexecutor-7-hadoop01.out flink-hadoop-taskexecutor-8-hadoop01.log flink-hadoop-taskexecutor-8-hadoop01.out flink-hadoop-taskexecutor-9-hadoop01.log flink-hadoop-taskexecutor-9-hadoop01.out [hadoop@hadoop01 log]$
最新发布
12-27
在Linux系统上搭建Flink集群,执行启动脚本后,可通过查看日志文件来排查Flink集群可能未正常启动的原因。Flink的日志文件一般位于`flink/log`目录下,主要包含以下几类日志文件: #### 1. TaskManager日志 TaskManager负责执行具体的计算任务,其日志文件通常以`flink - <用户>-taskexecutor - <编号>-<主机名>.out`和`flink - <用户>-taskexecutor - <编号>-<主机名>.log`命名。可以使用以下命令查看最新的日志信息: ```bash cd /path/to/flink/log tail -f flink-root-taskexecutor-0-localhost.localdomain.out ``` 通过观察这些日志文件,可能会发现如资源不足、网络问题等导致任务无法正常执行的错误信息。 #### 2. JobManager日志 JobManager负责作业的调度和管理,其日志文件通常以`flink - <用户>-standalonesession - <编号>-<主机名>.out`和`flink - <用户>-standalonesession - <编号>-<主机名>.log`命名。同样可以使用`tail -f`命令查看实时日志: ```bash cd /path/to/flink/log tail -f flink-root-standalonesession-0-localhost.localdomain.out ``` JobManager日志中可能会包含作业提交失败、配置错误等信息。 #### 3. 系统日志 系统日志记录了Flink启动和运行过程中的系统级信息,对于排查启动失败的原因非常有帮助。可以查看`flink - <用户>-*.log`文件,使用`grep`命令过滤关键错误信息,例如: ```bash cd /path/to/flink/log grep "ERROR" flink-root-*.log ``` #### 4. 历史日志 如果Flink之前有过启动失败的情况,历史日志可能会保留相关的错误信息。可以查看旧的日志文件,分析之前的启动过程中是否存在问题。 通过仔细分析这些日志文件中的错误信息,能够定位到Flink集群未正常启动的具体原因,如配置错误、依赖缺失、资源不足等,并采取相应的解决措施。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值