flink wordcount demo

Flink:word count demo flink 安装 单机安装flink非常简单,在官网下载flink,并执行安装包中bin文件下的start-cluster.sh即可,运行成功之后访问http://localhost:8081,会出现flink 的管理页面 Wordcout 代码 import org.apache.flink.api.common.functions.FlatMapFunction; import org.ap... 阅读详情

demo 

package com.hbn.wc

import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}

import org.apache.flink.api.scala._


object WordCount {
  def main(args: Array[String]): Unit = {

    //获取执行环境
    val env = ExecutionEnvironment.getExecutionEnvironment

    //加载数据源
    //val inputData = env.fromElements("china is the best country","beijing is the capital of china")

    val  inputData:DataSet[String] = env.readTextFile("/Users/H/Code/flinklearning/src/main/resources/wordcount.txt")
    //转化处理数据
    val result:DataSet[(String ,Int)] = inputData.flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1)

    //输出至目的端
    result.print()

    // 执行操作
    // 由于是Batch操作,当DataSet调用print方法时,源码内部已经调用Excute方法,所以此处不再调用,如果调用会出现错误
    //env.execute("Flink Batch Word Count By Scala")

  }
}

执行结果如图 

(you,2)
(flink,1)
(ok,1)
(world,1)
(hello,3)
(are,2)
(,3)
(how,1)
(spark,1)

 

 

Flink Mac本地安装、运行 一、flink本地安装 先看下是否有java,不过没有也没事,用的是open-jdk,命令如下: #1、查看java版本 java -version #2、安装flink brew install apache-flink #3、查看flink版本 flink --version 阅读详情

相关推荐

Gemini永久会员 使用 Flink 搭建一个简单 Demo 的详细步骤,该 Demo 以单词计数(WordCount)为例,涵盖本地环境搭建、项目创建、代码编写、打包提交及运行验证全过程

打开 IDEA,选择 `File → New → Project`,选择 `Maven`(不勾选 `Create from archetype`),填写项目信息(如 `GroupId: com.example`,`ArtifactId: flink-demo`),点击 `Create`。- **验证安装**:终端执行 `java -version`,输出类似 `java version "1.8.0_301"` 或 `11.x.x` 即表示安装成功。

m0_37843156的博客 644

使用flink编写WordCount

1. env-准备环境2. source-加载数据转换4. sink-数据输出5. execute-执行。

weixin_63297999的博客 1512

Flink 本地环境 使用scala/Java 分别 编写Demo

Flink 本地环境 Demo 分别使用scala和java编写

huonan_123的博客 1万+

Flink 简单的 WordCount 小demo

Flink flastmap

qq_27896233的博客 305

Flink系列:单词统计Demo(批处理、流式处理)

批处理demo package csdn.xdoctorx; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.operators.DataSource; imp...

NIO4444 1206

Flink入门级单词统计Demo项目(可直接导入运行)

Apache Flink 是一个开源的分布式流处理框架,具备低延迟、高吞吐和精确一次(exactly-once)语义的能力。其核心设计理念是流批一体,即将批处理视为流处理的特例,统一执行模型简化了数据处理架构。Flink 以事件驱动为基础,支持事件时间(Event Time)、状态管理与窗口计算,适用于实时数据分析、ETL、复杂事件处理等场景。

weixin_42124497的博客 1005

Flink WordCount实践

Flink WordCount实践

大头皮鞋的博客 3708

flink 1.14.3基础环境下的nc+wordcount(java)

flink入门demo,采用idea+java+maven构建,从nc读取数据,拆分单词后统计输出。

Flink1.2版本的wordcount的demo

这个代码里面有额外的连接器的包,可以用于的文件的读取。如果实践中缺乏某个类,那么可以直接到它的官网,定位这个类所在的包,然后github上定位包所对应的pom文件,找到对应的依赖。由于flink1.2的api和尚硅谷的Flink1.17版本差异较大,因此本文是记录尚硅谷的Flink1.17版本的wordcount在flink1.2下的版本。

weixin_46747470的博客 211

flink-wordcount-demo01-1.0-SNAPSHOT.jar

flink wordcount 测试程序,包含流处理和批处理 无界流处理测试启动类:org.flink.study.practice01.StreamWordCount 启动参数:--isNetcat true --host 192.168.116.10 --port 9999

IBM V3700更换控制器2(503错误)

正常的node1 ,机器代码版本:7.5.0.3, 机器代码构建:115.51.1509171734000。耐心等待后,刷新,看到node2,状态变成 节点状态:服务,错误:656,版本和node1一样了。新换的node2 ,机器代码版本:7.2.0.5, 机器代码构建:87.8.1404221000。耐心等待,刷新,node2,状态看到了,节点状态:活动,错误 724 1 1 0。拔出故障的控制,把内存和HBA卡,电池换到新的控制器。新的控制还是报错无法使用,节点状态:服务 错误:503。

klyshao的博客 4449

flink从入门到放弃(二)flink demo 之 wordcount

flink windows/linux demo环境准备maven依赖管理maven打包配置java代码打包以及运行结果 环境准备 linux/window 安装jdk1.8 安装 maven 记得要改成阿里镜像,可以增加下载速度,具体修改过程见上篇文章 安装 netcat window直接下载解压即可,64位电脑运行32位版本也可以的。linux不同版本命令不一样,ubuntu的命令是su...

猪头三 931

PLSQL Developer14连接Oracle详细过程

下载地址:Instant Client for Microsoft Windows (x64) 64-bit | Oracle 中国解压客户端工具到一个目录(解压文件到当前目录,自动合并成一个目录)​ 电脑(右键)→属性→高级系统设置→环境变量→系统环境变量→新建变量名:NLS_LANG 变量值: AMERICAN_AMERICA.ZHS16GBK​ 变量名:TNS_ADMIN 变量值:C:\xiaxinyu\software\Oracle\instantclient_19_10​ 在Oracle客户端(C

summer_fish的专栏 3985

flink结合Java_flink基础wordcount demo-java版

import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.utils.ParameterTool;import org.apache.flink.streaming.api.da...

weixin_35977449的博客 291

RagFlow实战:如何用DeepDoc引擎高效处理扫描PDF文档(附完整代码解析)

本文详细解析了如何利用RagFlow的DeepDoc引擎高效处理扫描PDF文档。通过实战演示从环境搭建、PDF预处理、文本检测与识别,到布局分析与表格结构提取的完整流程,并提供了完整的代码实现。该方案超越了传统OCR,能输出保留原始版面信息的结构化数据,为构建高质量知识库提供了强大支持。

weixin_29245767的博客 300

Power Bi数据分析案例:在线零售平台销售数据分析

该数据集为,涵盖2023年1月至2024年3月,包含用户群体特征、购买行为、产品偏好以及参与度指标。用户维度:Customer_ID,Age,Gender,City产品维度:Product_Category,Unit_Price事实表:Order_ID,Quantity,Total_Amount,Discount_Amount,Rating,Delivery_Time在Power Query当中处理销售日期列,并新增年龄段、浏览页面分段列。

2301_79586168的博客 1279

【flink基础demo wordcount部署 在集群上运行】

flink 1 基础上手 1.1 构建maven工程 1.1.1 引入依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM

weixin_45273750的博客 1684

【原创】Ubuntu20.04 安装 Isaac Gym 仿真器

Ubuntu20.04 安装 Isaac Gym

qq_54900679的博客 3094

Flink demo wordCount词频统计及单机任务提交

本文相关内容出自Flink官方文档:http://flink.apache.org/ 在完成本地Flink安装后,通过在安装目录下执行start脚本可启动单机Flink。 bindeMacBook-Air:libexec bin$ pwd /usr/local/Cellar/apache-flink/1.10.1/libexec bindeMacBook-Air:libexec bin$ ./bin/start-cluster.sh 此时可通过 http://localhost:8081/ 查看Flin

qq_24095055的博客 1256

如何用 ABAP 以程序方式把指定表项写入 Transport Request

本文探讨了在SAP系统中运输自定义配置表数据时如何确保主表和相关文本表数据同步运输的问题。文章分析了两种实现方案:一是直接操作CTS表结构(E071和E071K)手动添加运输条目,二是使用SOBJ对象类型自动推导依赖关系。重点阐述了第一种方法的实现细节,包括如何正确拼接表键值到TABKEY字段,并提供了示例代码说明如何将ZXA_HEADER主表和ZXA_HEADERT文本表数据同时加入运输请求。文章特别指出在全球化交付场景中,文本表缺失会导致界面显示异常,强调理解底层运输机制对解决此类问题的重要性。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 222

RK35X8调试YT8531单网口千兆以太网PHY芯片,修复ping不通或者IP地址丢失的问题

RK35X8上调试YT8531以太网PHY

荻夜的博客 3976

flink windows的wordcount demo(离线和实时)

1.新建maven项目,pom文件新增如下代码 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.2</version> </dependency>

zhang5324496的博客 550

199、医疗内窥镜影像:微型镜头与高色彩保真度的ISP定制化方案

医疗内窥镜影像系统开发面临三大光学挑战:衍射极限导致分辨率下降,微型镜头色差严重,镀膜不足引发红外漏光。团队通过定制化ISP方案解决问题:采用分区色差补偿、红外泄露补偿技术,开发12区域分段颜色校正矩阵,并设计自适应伽马曲线。关键经验包括锁定白平衡避免术中偏色,优化FPGA流水线确保30fps流畅度,强调光学标定优先于算法优化。最终方案使DeltaE降至3以下,满足医生对组织颜色细微差异的识别需求,尤其解决了血管与脂肪边界辨识难题。

zzfmlxs的博客 265

Apache Flink教程----2.本地开发

Apache Flink教程----2.本地开发 1.pom <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients_2.12</artifactId> <ver...

诸葛子房的博客 493

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Flink Demo测试------读取本地文件WordCount并写入mysql(Flink1.8;Hadoop3.0)

pom文件 <name>Flink Quickstart Job</name> <url>http://www.myorganization.org</url> <repositories> <repository> <id>apache.snapsho...

qq_34864753的博客 3432

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

初识Flink与基本Demo代码编写

关于输出语句乱序与前面数字的疑问,我们要知道,Flink 是一个分布式处理引擎,所以我们的程序应该也是分 布式运行的。这段代码不同的运行环境,得到的结果是不同的。需要注意的是,这种代码的实现方式是基于DataSet API的,即我们对数据的处理转换是看作数据集来进行操作的。事实上,Flink本身是流批统一的处理架构,批量的数据集本质上也是流,没必要用两套不同的API来实现。在实际的生产环境中,真正的数据流其实是无界的,有开始没有结束,这就需要我们保持一个监听事件的状态,持续地处理捕获的数据。

weixin_72525373的博客 852

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: flink Cannot find compatible factory for specified execution.target (=local)
下一篇: flink streamWordCount demo
H.King
博客等级 码龄10年 4粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值