Apache flink的安装应用-大数据处理1-Flink自己的jar包example运行

本文详细介绍如何在Windows环境下配置Flink大数据处理系统,包括下载、环境搭建及运行示例任务的过程,适合初学者快速上手。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、下载并布置环境

jdk环境需要的 1.8的。我的环境是D:\Java1.8\jdk1.8.0_74,电脑win7旗舰版

安装下载包https://flink.apache.org/downloads.html#apache-flink-180

下载得到flink-1.6.2-bin-hadoop28-scala_2.11.tgz文件。

这个文件在windows下也可以直接解压的,得到文件夹flink-1.6.2我放在d盘。

开启一个 cmd ,进入到flink-1.6.2的bin文件夹 ,并start开启服务。

>cd D:\flink-1.6.2\bin

>start-cluster.bat

上面已经启动了服务,在浏览器打开窗口输入http://localhost:8081

可以看到界面上有一个任务1.(圈1处) 启动就完成了,现在还没有圈2的内容。

2、运行任务实例

重新开一个cmd

cd到bin文件下

bin》flink run D:\flink-1.6.2\examples\batch\WordCount.jar

cd到bin文件下》flink D:\flink-1.6.2\examples\streaming\SessionWindowing.jar

最后运行会得到这个界面最后为finish。

 

 

此后会出现圈2的位置的任务显示,点击圈2的位置出现请求运行时间等详细信息。

关闭 ./stop-cluster.sh

很多不明白的,先用的flink自带的exmple看下的,跑一边试试罢了。

有需要就参考下吧。参考http://www.aboutyun.com/thread-26393-1-1.html

 

2019年5月12日在360大厦召开的 Apache Kafka X Apache Flink Meetup大会-北京,360、阿里、京东、字节跳动、美团、Vopkid等都有分享Apache Flink的大数据处理技术。

知道tomcat,不多了解apache,本以为是服务器类的分享,啥的发现原来是大数据这个东西,第一次知道有这玩意。

并且听说只有大公司才会用,毕竟硬件要求高,另外主要的哈哈,对业务需求要求高,懂不?意思就是你公司如果太小,都用不到这么专业的并发处理技术,都没有必须用,所以小公司的也不知道吧,毕竟不是IT,不知道,也是猜测罢了。

就像没有必要拿着matlab就计算个几加上几等于几这种状态。

,,。运行下体验下Flink什么东西。

 

<think>好的,用户的问题是关于在Windows 10系统上安装Apache Flink并使用Python。我需要先确认Apache Flink是否直接支持Python,因为Flink主要是用Java开发的,而Python的支持可能通过PyFlink来实现。 首先,用户可能在尝试安装apache-flink的时候遇到了问题,因为直接通过pip安装可能会有一些依赖或环境问题。我需要检查PyPI上是否存在这个,实际上正确的名可能是apache-flink,或者需要其他步骤。 接下来,安装Apache Flink本身通常需要Java环境,因为Flink是基于Java的。用户可能需要先安装Java JDK,并设置JAVA_HOME环境变量。同时,PyFlinkFlink的Python API,可能需要通过pip安装pyflink,而不是直接安装整个Flink集群。 另外,Windows系统上运行Flink可能会有一些限制,比如需要配置本地执行环境,或者可能需要使用WSL来更好地兼容。用户可能没有安装正确的Java版本,或者环境变量配置不正确,导致无法启动Flink。 所以,正确的步骤应该是先安装Java,然后通过pip安装pyflink。然后验证安装是否成功,可能通过运行一个简单的PyFlink脚本来测试。如果用户是想在本地运行Flink集群,可能需要下载Flink的二进制并配置,但这通常是在Linux环境下更常见,Windows可能需要额外步骤或者使用Docker。 需要提醒用户注意Python和Java版本的兼容性,以及可能的路径问题。此外,PyFlink的文档可能提供更详细的安装指导,应该建议用户参考官方文档。 最后,相关问题需要围绕PyFlink的使用、环境配置、数据处理等方面展开,帮助用户深入理解后续可能遇到的问题。</think><< 在Windows 10系统中,安装Apache Flink并集成Python主要通过`pyflink`实现。以下是详细步骤和注意事项: ### **1. 安装前的依赖** - **Java 8或11**:Flink基于Java,需先安装JDK并设置`JAVA_HOME`环境变量。 - 下载JDK:https://adoptium.net/ - 配置环境变量示例: ```bash JAVA_HOME = C:\Program Files\Java\jdk-11.0.15 PATH = %JAVA_HOME%\bin;... ``` ### **2. 安装PyFlink** 通过`pip`直接安装: ```bash pip install apache-flink ``` 如果网络问题,可使用清华镜像: ```bash pip install apache-flink -i https://pypi.tuna.tsinghua.edu.cn/simple ``` ### **3. 验证安装** 运行以下Python代码测试PyFlink环境: ```python from pyflink.datastream import StreamExecutionEnvironment env = StreamExecutionEnvironment.get_execution_environment() env.add_jars("file:///path/to/flink-sql-connector-kafka_2.11-1.14.4.jar") # 按需添加连接器 print("PyFlink环境初始化成功!") ``` ### **4. 常见问题及解决** - **Java环境错误**:若报错`JAVA_HOME not set`,检查JDK安装和环境变量。 - **依赖冲突**:确保Python版本≥3.6,且不与已有冲突(如`protobuf`版本)。 - **本地运行限制**:PyFlink在Windows本地模式下可能需配置`flink-dist.jar`路径: ```python env = StreamExecutionEnvironment.create_local_environment(execution_config={"python.client.executable": "python"}) ``` ### **完整示例:WordCount程序** ```python from pyflink.datastream import StreamExecutionEnvironment from pyflink.datastream.functions import MapFunction, FlatMapFunction env = StreamExecutionEnvironment.get_execution_environment() class Tokenizer(FlatMapFunction): def flat_map(self, value, collector): for word in value.lower().split(): collector.collect((word, 1)) class Sum(MapFunction): def map(self, value): return (value[0], sum(value[1])) data_stream = env.from_collection(["Hello World", "Hello PyFlink"]) counts = ( data_stream.flat_map(Tokenizer()) .key_by(lambda x: x[0]) .sum(1) .map(Sum()) ) counts.print() env.execute("WordCount Example") ``` ### **解释** - PyFlink通过Java虚拟机(JVM)与Flink交互,需Java环境支持。 - `apache-flink`封装了Python API,底层依赖Flink的Java库。 - 复杂任务(如Kafka连接)需手动添加对应JAR
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值