【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础009--flink分布式部署004

最新推荐文章于 2019-10-29 21:13:30 发布
原创 最新推荐文章于 2019-10-29 21:13:30 发布 · 7.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #分布式 #数据 #批处理 #测试

本文介绍如何使用Apache Flink进行批处理测试，包括创建文件夹上传readme文件及运行wordcount程序的具体步骤。通过设置8个并发任务，计算HDFS上的README.txt文件中单词的个数，并展示如何查看输出结果。

四、flink批处理测试

1.创建文件夹并上传flink的readme文件

略，见上章节！

2.运行wordcount程序

2.1检查安装包中是否存在WordCount.jar 

cd ${FLINK_HOME}/examples/batch
tree -L 1 .

执行效果：
这里写图片描述

2.2运行wordcount程序

计算hdfs://qingcheng11:9000/input/flink/README.txt中单词的个数

执行命令：

${FLINK_HOME}/bin/flink run -p 8 ${FLINK_HOME}/examples/batch/WordCount.jar \
--input  hdfs://qingcheng11:9000/input/flink/README.txt \
--output hdfs://qingcheng11:9000/output/flink/readme_result

其中：-p 8：是设置8个任务并发执行，也就是Job parallelism=8，每个任务输出一个结果到hdfs上hdfs上将生产8个结果文件。

fink web ui中的效果：

这里写图片描述

hadoop hdfs web ui中的效果：

这里写图片描述

分别查看结果文件中的内容： 

 hadoop fs -text /output/flink/readme_result/1
 hadoop fs -text /output/flink/readme_result/2
 hadoop fs -text /output/flink/readme_result/3
 hadoop fs -text /output/flink/readme_result/4
 hadoop fs -text /output/flink/readme_result/5
 hadoop fs -text /output/flink/readme_result/6
 hadoop fs -text /output/flink/readme_result/7
 hadoop fs -text /output/flink/readme_result/8

这里写图片描述

【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础0013--flink分布式部署008
云星数据-http://www.cloud-star.com.cn
11-14 1387
FlinkOnYarn模式下集群最简部署实战一、配置yarn1.编辑yarn-site.xml1.编辑命令 vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml2.配置内容 <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> </propert
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础006--flink分布式部署001
云星数据-http://www.cloud-star.com.cn
11-12 7583
一、flink软件包的下载与解压1.下载并分发flink1.官方网站 http://flink.apache.org2.下载页面 http://flink.apache.org/downloads.html3.下载地址 http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.1.3/flink-1.1.3-bin-hadoop27-scala
batch_decision_tree_决策树计算_决策树_batch_影像数据_
10-02
决策树算法模型调用，适用于各类遥感影像数据。
Python实现-BIT*-Batch Informed Tree 运动规划算法
海晨威
10-29 4866
RRT系列的采样规划算法，其随机采样特性可以有效解决维度灾难的问题 RRT*通过改进RRT的节点扩展方式，加入重连的机制，可以实现路径质量的渐近最优 BIT*结合了采样规划算法和搜索规划算法的优势，引入节点排序和边排序，在超椭球子集中执行排序搜索，可以避免将无价值的节点和边加入到生成树中，下面是BIT*的伪代码 伪代码参考文献： J. D. Gammell, S. S. Srinivasa, ...
CMD 命令行中的 tree 样式输出
偶尔记一下 - mybatis.io
09-22 7595
从很早就对各种命令行中输出的特殊样式感兴趣，最常见的就是 tree.例如在某个目录执行 tree 命令，显示如下树图：F:. └─tk └─mybatis ├─mapper │ ├─annotation │ ├─code │ ├─common │ │ ├─base │ │ │ ├─
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础0015--flink分布式部署0010
云星数据-http://www.cloud-star.com.cn
11-14 7457
五、flink-on-yarn实现原理1.通过配置信息找到yarn a.Flink-Yarn-Client(FRC)读取YARN_CONF_DIR,HADOOP_CONF_DIR或HADOOP_CONF_PATH环境变量。 b.如果a读取不到，则flink-yarn-client读取HADOOP_HOME环境变量，如果读到HADOOP_HOME 若安装的是Hadoop2,
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础007--flink分布式部署002
云星数据-http://www.cloud-star.com.cn
11-12 7594
二、flink在standalone模式主节点下无HA的部署实战1.部署规划：2.配置flink-conf.yaml文件vim ${FLINK_HOME}/conf/flink-conf.yaml添加内容：在flink-conf.yaml文件中进行一些基本的配置，本此要修改的内容如下。 # The TaskManagers will try to connect to the JobManager
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础0011--flink分布式部署006
云星数据-http://www.cloud-star.com.cn
11-14 2015
一、flink在standalone模式主节点下有HA的部署实战当Flink程序运行时，如果jobmanager崩溃，那么整个程序都会失败。为了防止jobmanager的单点故障， 借助于zookeeper的协调机制，可以实现jobmanager的HA配置—-1主（leader）多从（standby）。 这里的HA配置只涉及standalone模式，yarn模式暂不考虑。 注意： 1.由
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础0012--flink分布式部署007
云星数据-http://www.cloud-star.com.cn
11-14 7372
接上文6. 验证重启成功6.1 zookeeper客户端验证 ls / ls /flink ls /flink/flink0016.2 hadoop hdfs上验证http://192.168.0.12:50070/explorer.html#/flink-metadata7. 测试jobmanager的HA1.关闭jobmanager ${FLINK_HOME}/bin/jobmanager.
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础008--flink分布式部署003
云星数据-http://www.cloud-star.com.cn
11-12 7699
三、flink第一个程序1.创建文件夹并上传flink的readme文件hadoop fs -mkdir -p /input/flink hadoop fs -put ${FLINK_HOME}/README.txt /input/flink/执行效果：2.打开start-scala-shell.sh${FLINK_HOME}/bin/start-scala-shell.sh是flink提供的
使用cmd中的tree命令生成目录树
xenron的专栏
07-01 9206
<br /><br />TREE [drive:][path] [/F] [/A]<br /> <br />   /F   显示每个文件夹中文件的名称。（带扩展名）<br />   /A   使用 ASCII 字符，而不使用扩展字符。<br /> <br />tree -f > list.txt  -- 将带扩展名的文件目录输出到list.txt文件中
batch常用命令
天道酬勤
03-17 6183
基本命令 1.     一般开头加上@echo off，最后加上pause，要不然cmd会一闪而过 @echooff pause 2.     注释： 行注释 %  % 格式为%空格+注释内容+空格% 3.     打印 echo 不用加引号，直接加要输出的内容。echo test 输出变量需要加两个百分号。echo %temp% 4.     变量定义和复制，用set命令。
batch文件常用命令
Quincylk的专栏
10-20 1万+
1 echo 和 @ 回显命令 @                     #关闭单行回显 echo off              #从下一行开始关闭回显 @echo off             #从本行开始关闭回显。一般批处理第一行都是这个 echo on               #从下一行开始打开回显 echo                  #显示当前是 echo
【云星数据---Apache Flink实战系列(精品版)】：Flink基础--001:flink介绍
热门推荐
云星数据-http://www.cloud-star.com.cn
11-12 3万+
第一部分：flink概况一、flink简介1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。 2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu 3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache Sof
云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战005-Flink基于流的window操作003
云星数据-http://www.cloud-star.com.cn
11-21 1万+
五、window总结1.flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window 2.flink支持窗口的两个重要属性（size和interval） 如果size=interval,那么就会形成tumbling-window(无重叠数据) 如果si
【云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战001-Flink基于流的wordcount示例001
云星数据-http://www.cloud-star.com.cn
11-20 1万+
Flink基于流的wordcount示例001
云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战002-Flink基于流的wordcount示例002
云星数据-http://www.cloud-star.com.cn
11-20 1万+
三、基于socket的wordcount
PACS DICOM数据压缩包——患者-1-CT
在信息技术和医疗成像领域中，DICOM（医学数字成像和通信标准）是一种用于医学成像设备间传输、存储、打印和...在使用这些数据时，要确保遵守相关的隐私和数据保护法规，因为这些扫描图像可能包含敏感的个人健康信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值