flink本地环境运行自定义的jar

前言

最近需要搭建一个实时计算计算平台，自己现在本地搭建一个基础版，体验一下flink的运行和图形化界面的功能。

flink基于java 开发一个字数统计的功能

项目maven依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>flink-dev</artifactId>
    <version>1.0-SNAPSHOT</version>

  <packaging>jar</packaging>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.8.1</flink.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-wikiedits_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
    </dependencies>
    <repositories>
        <repository>
            <id>aliyun</id>
            <name>aliyun</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </repository>
    </repositories>

</project>

简单的测试 类

package com.fl.flink;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

/**
 * @ProjectName: flink-dev
 * @Package: com.fl.flink
 * @Description: note
 * @Author fl
 * <p>
 * Copyright © 2021 Hundsun Technologies Inc. All Rights Reserved
 */
public class WordCount {
    public static void main(String[] args) throws Exception {
        // 设置streaming运行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 连接socket获取输入的数据
        DataStream<String> text = env.socketTextStream("127.0.0.1", 29002);
// split("\\W+") 使用非数字字母切分字符串
        DataStream<Tuple2<String, Integer>> dataStream = text.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                String[] tokens = s.toLowerCase().split("\\W+");

                for (String token : tokens) {
                    if (token.length() > 0) {
                        collector.collect(new Tuple2<String, Integer>(token, 1));

                    }

                }

            }

        }).keyBy(0).sum(1);

        dataStream.print();
        env.execute("Flink Streaming Java API Skeleton");

    }
}

项目 使用maven 命令 mvn clean install 打成jar
然后在这里选择上传jar

输入命令 nc -l -p 29002
在运行机器上 起一个端口监听 进行数据交互

运行完成 可以看下任务状态

查看作业的产出

flink 本地通过web ui 上传的jar 的位置

找到flink 安装的目录，执行如下命令

cd  /tmp/flink-web-UUID/flink-web-upload

注意： 这里从web ui 上传的jar 是保存 到 flink-web-upload，但是在有个弊端 就是回随着 flink 的重启 jar 会丢失，所以生产环境的jar,不能保存在这里。