测试环境搭建整套大数据系统（十六：flink提交命令）

最新推荐文章于 2025-06-14 19:22:58 发布

宇智波云

最新推荐文章于 2025-06-14 19:22:58 发布

阅读量171

点赞数 1

分类专栏：大数据项目文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/weixin_43446246/article/details/138273294

版权

大数据项目专栏收录该内容

50 篇文章

订阅专栏

本文介绍了如何在YARN集群环境下使用ApacheFlink(1.13.6版本)的`flinkrun`命令来执行一个名为`CyberspaceParseJob`的jar包，探讨了在大规模分布式计算中的部署和配置方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

yarn-cluster模式

/opt/flink-1.13.6/bin/flink run \
-m yarn-cluster -ys 1 -yjm 1024 -ytm 1024 \
-d \
-c com.shds.platform.cyberspace.CyberspaceParseJob /root/collection-cyberspace-1.0-SNAPSHOT.jar

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

宇智波云

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据平台建设整体架构设计方案

AI天才研究院

10-20

2512

本文将深入探讨大数据平台建设整体架构设计方案，从概述与核心概念、技术栈、建设实践、运维管理以及经验展望等多个方面进行详细阐述。通过梳理大数据平台的核心组成部分、技术选型和实施策略，本文旨在为大数据平台建设提供一套完整、实用的参考方案，助力企业在大数据领域取得成功。1.1 大数据时代的来临1.2 大数据平台建设的必要性1.3 大数据平台建设的目标与挑战随着互联网、物联网、云计算等技术的飞速发展，数据已经成为新时代最重要的资源之一。

测试环境搭建整套大数据系统（十六：超级大文件处理遇到的问题）

weixin_43446246的博客

05-10

627

日志：1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];

3 条评论您还未登录，请先登录后发表或查看评论

测试环境搭建整套大数据系统（五：搭建dolphinschduler3.1.9）

weixin_43446246的博客

02-22

1287

官网地址：三：添加jar包。 1. 添加zk jar包。进入 zookeeper 的安装目录，将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg，并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper。需要在alert-server，api-server，master-server，tools，worker-server这五个目录全部放进去。即使你使用的mysql是5.7，也要使用8.0.16以上的驱动。将驱动包放到al

测试环境搭建整套大数据系统（七：集群搭建kafka(2.13)+flink（1.13.6）+dinky（0.6）+iceberg）

weixin_43446246的博客

02-26

561

修改以下俩内容1.三台机器分别给予各自的broker_id。

测试环境搭建整套大数据系统（十四：报错-bash: /root: Is a directory

weixin_43446246的博客

04-24

296

问题描述问题解决去掉下面的~即可。

测试环境搭建整套大数据系统-问题篇（一：实时遇到的问题）

weixin_43446246的博客

03-04

461

将TIMESTAMP_LTZ改为TIMESTAMP。

《大数据之路：阿里巴巴大数据实践》：看阿里人从IT时代走向DT时代的经验之谈！

云祁QI

05-17

9622

最近一直在看《大数据之路：阿里巴巴大数据实践》一书，读完之后感觉受益良多。第一，对于整个大数据的体系有了更多且清晰的认知；第二，对于不同系统的逻辑处理方式给予了引导；第三，毕竟是阿里多年技术的累计产出，而且都是阿里技术大牛写的，干货相当多；最后，如果对于大数据方向想有更深入的了解，推荐阅读本书。

大数据开发环境搭建番外及总结：Redis和Anaconda环境的安装搭建

Miracle8070

01-09

1558

百分点大数据技术团队：大规模文件存储OSS技术与实践

Percent_bigdata的博客

07-06

595

编者按在数字政府领域，许多项目中都有各种类型的文件，它们有不同的大小、不同的用途，甚至编码方式都会千差万别。我们希望通过OSS来将这些文件按照一定的规则存储起来，在我们需要的时候，能很快的取出来，并且应用到当前的项目中，甚至能和其他的应用系统集成起来，形成一整套的基于OSS存储的生态系统。百分点基于实践探索自主研发出了OSS，可以将海量的网页内容、图片、音视频等非结构化数据，在高并发的场景下被快速、准确的存储及方便的下载。对象存储服务（Object Storage Service，简称..

java oss 批量传输_百分点大数据技术团队：大规模文件存储OSS技术与实践

weixin_39822493的博客

11-21

433

【大数据环境】：TongWeb 7.0.zip应用案例分析与优化策略

大数据环境下的TongWeb 7.0.zip概览在当今的大数据时代，Web服务器扮演着至关重要的角色，尤其是在数据密集型应用中。TongWeb 7.0.zip作为一款兼容传统Web服务和大数据处理的中间件，融合了最新的技术趋势和企业...

构建高效的大数据ETL流程：工具、策略与优化

大数据的ETL（Extract, Transform, Load）流程是数据仓库建设和数据分析的核心，它包括数据的抽取、转换和加载三个主要步骤。本文对ETL流程进行了全面概述，并针对ETL工具的选择与应用进行了对比分析，探讨了数据...

解锁Flink CDC：实时数据同步秘籍

m0_71836706的博客

06-11

1156

Flink CDC 作为 Java 实时数据处理领域的强大工具，以其卓越的实时性、可靠性和多数据库支持能力，为企业解决了诸多数据处理难题。从原理到实战，我们深入了解了它的工作机制和应用方法，通过案例展示了其在不同场景下的高效表现。希望通过本文的介绍，能激发大家对 Flink CDC 的兴趣，鼓励更多开发者深入学习和应用这一强大的技术，在实时数据处理的领域中探索创新，如果你在学习和使用 Flink CDC 的过程中有任何问题或心得，欢迎在评论区留言分享，让我们一起交流进步！

Docker环境安装Kafka、Flink、ClickHouse镜像

guygg88的博客

06-11

477

通过Docker Compose，可以轻松地在本地环境中部署和管理Kafka、Flink和ClickHouse。这种方式不仅简化了环境配置，还提高了服务管理的灵活性和效率。

Flink 与 Hive 深度集成

最新发布

qq_42773076的博客

06-14

1254

Flink与Hive集成实现流批一体化数据处理，通过HiveCatalog配置连接Hive Metastore，支持Hive表读写及元数据管理。关键配置包括依赖引入、HiveCatalog创建及参数设置。数据读取方面，提供Hive表SQL查询、分区表优化及数据类型映射技巧；写入操作涵盖多种模式、动态分区及数据格式选择。性能优化建议合理设置并发度、缓存策略等，并分析常见问题解决方案。该集成方案显著提升大数据处理效率，适用于各类数据分析场景。

Spring Boot + Flink + FlinkCDC 实现 MySQL 同步到 MySQL

RodJohnsonDoctor的专栏

06-08

700

本文介绍了使用Spring Boot 2.3.12、Flink 1.15.4和FlinkCDC 2.4.0实现MySQL到MySQL数据同步的技术方案。

京东零售技术的博客

06-13

872

高频面试之11Flink

数字人生

06-13

1164

Flink基础架构由JobManager、TaskManager和Client组成，支持流式计算和多种时间语义。与Spark Streaming相比，Flink提供更灵活的事件处理、窗口操作和状态管理。其任务提交流程涉及多个组件协作，支持多种部署模式。Flink通过Watermark机制处理乱序数据，窗口分类丰富，包含滚动、滑动和会话窗口等。资源配置需根据任务特性调整并行度，并关注Slot共享组优化。整体上，Flink以低延迟、高吞吐和精准的状态管理优势，成为现代流处理的重要框架。

CTF题目：Apache Flink目录遍历漏洞实战及CVE-2020-17519漏洞分析

Liu_Bruce的博客

06-14

1250

本文分析了Apache Flink目录遍历漏洞CVE-2020-17519的利用过程。通过构造双重URL编码的路径遍历Payload（如..%252f），成功绕过路径过滤，读取了系统敏感文件/etc/passwd，最终在/tmp/flag.txt获取目标flag。漏洞根源在于Flink未对路径参数进行规范化校验，导致攻击者可以通过双重解码跳转目录。修复方案包括升级版本或添加路径规范化检查。本文完整演示了绕过技巧、敏感文件定位思路和漏洞利用链，对安全研究和CTF实战具有指导意义。