flink集群搭建

Flink实战——集群搭建 下图12展示了未启动Flink集群时的进程情况,图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色,后文将针对表2所示情况,在Linux系统上搭建Flink1.17版本的集群。,本文默认读者已经安装和部署过Hadoop集群,故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后,用户依据个人情况,采用两种不同的方式分发配置文件。,则在其余两台节点服务器(hadoop01和hadoop02)上。上,其中,目录位置可以自定义,本文上传的目录位置为。 阅读详情

生成keystore和truststore文件
依次执行以下的命令,执行中需要设置一个不少于6位的密码,这里设置的密码为hadoop。执行完成后,会在当前目录生成keystore和truststore文件。

[root@itp-flink—master ~]# openssl req -new -x509 -keyout test_ca_key -out test_ca_cert -days 9999 -subj '/C=CN/ST=beijing/L=beijing/O=itp_cy/OU=itp_cy/CN=itp_cy.com'
Generating a 2048 bit RSA private key
.....................................................................................+++
......................+++
writing new private key to 'test_ca_key'
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
-----
[root@itp-flink—master ~]# keytool -keystore keystore -alias localhost -validity 9999 -genkey -keyalg RSA -keysize 2048 -dname "CN=itp_cy.com, OU=itp_cy, O=itp_cy, L=beijing, ST=beijing, C=cn"
Enter keystore password:
Re-enter new password:
Enter key password for <localhost>
        (RETURN if same as keystore password):

[root@itp-flink—master ~]# keytool -keystore truststore -alias CARoot -import -file test_ca_cert
Enter keystore password:
Re-enter new password:
Owner: CN=itp_cy.com, OU=itp_cy, O=itp_cy, L=beijing, ST=beijing, C=CN
Issuer: CN=itp_cy.com, OU=itp_cy, O=itp_cy, L=beijing, ST=beijing, C=CN
Serial number: 92afbb79bf87d705
Valid from: Fri Jul 19 20:31:39 CST 2019 until: Mon Dec 03 20:31:39 CST 2046
Certificate fingerprints:
         MD5:  65:8F:F2:74:53:32:59:06:B5:33:DD:91:4B:68:96:11
         SHA1: AE:ED:7B:CE:FA:2A:8C:13:4E:65:BA:C2:A6:50:0F:6A:B1:41:F2:2C
         SHA256: 74:9F:23:1E:5A:69:FC:7F:83:71:E6:40:B1:60:4C:6C:A4:D8:27:AE:96:F4:29:96:95:12:C5:2D:1D:85:93:5D
         Signature algorithm name: SHA256withRSA
         Version: 3

Extensions:

#1: ObjectId: 2.5.29.35 Criticality=false
AuthorityKeyIdentifier [
KeyIdentifier [
0000: FE A2 FD 02 DF CB AF 25   4E 1F D3 98 B9 2D 2A 08  .......%N....-*.
0010: 5F F9 0B DF                                        _...
]
]

#2: ObjectId: 2.5.29.19 Criticality=false
BasicConstraints:[
  CA:true
  PathLen:2147483647
]

#3: ObjectId: 2.5.29.14 Criticality=false
SubjectKeyIdentifier [
KeyIdentifier [
0000: FE A2 FD 02 DF CB AF 25   4E 1F D3 98 B9 2D 2A 08  .......%N....-*.
0010: 5F F9 0B DF                                        _...
]
]


Trust this certificate? [no]:  yes
Certificate was added to keystore
[root@itp-flink—master ~]# keytool -certreq -alias localhost -keystore keystore -file cert
Enter keystore password:

[root@itp-flink—master ~]# openssl x509 -req -CA test_ca_cert -CAkey test_ca_key -in cert -out cert_signe 9999 -CAcreateserial -passin pass:hadoop
Signature ok
subject=/C=cn/ST=beijing/L=beijing/O=itp_cy/OU=itp_cy/CN=itp_cy.com
Getting CA Private Key

[root@itp-flink—master ~]# keytool -keystore keystore -alias CARoot -import -file test_ca_cert
Enter keystore password:
Owner: CN=itp_cy.com, OU=itp_cy, O=itp_cy, L=beijing, ST=beijing, C=CN
Issuer: CN=itp_cy.com, OU=itp_cy, O=itp_cy, L=beijing, ST=beijing, C=CN
Serial number: 92afbb79bf87d705
Valid from: Fri Jul 19 20:31:39 CST 2019 until: Mon Dec 03 20:31:39 CST 2046
Certificate fingerprints:
         MD5:  65:8F:F2:74:53:32:59:06:B5:33:DD:91:4B:68:96:11
         SHA1: AE:ED:7B:CE:FA:2A:8C:13:4E:65:BA:C2:A6:50:0F:6A:B1:41:F2:2C
         SHA256: 74:9F:23:1E:5A:69:FC:7F:83:71:E6:40:B1:60:4C:6C:A4:D8:27:AE:96:F4:29:96:95:12:C5:2D:1D:8
         Signature algorithm name: SHA256withRSA
         Version: 3

Extensions:

#1: ObjectId: 2.5.29.35 Criticality=false
AuthorityKeyIdentifier [
KeyIdentifier [
0000: FE A2 FD 02 DF CB AF 25   4E 1F D3 98 B9 2D 2A 08  .......%N....-*.
0010: 5F F9 0B DF                                        _...
]
]

#2: ObjectId: 2.5.29.19 Criticality=false
BasicConstraints:[
  CA:true
  PathLen:2147483647
]

#3: ObjectId: 2.5.29.14 Criticality=false
SubjectKeyIdentifier [
KeyIdentifier [
0000: FE A2 FD 02 DF CB AF 25   4E 1F D3 98 B9 2D 2A 08  .......%N....-*.
0010: 5F F9 0B DF                                        _...
]
]

Trust this certificate? [no]:  yes
Certificate was added to keystore

[root@itp-flink—master ~]# keytool -keystore keystore -alias localhost -import -file cert_signed
Enter keystore password:
Certificate reply was installed in keystore

flink实战--flink集群的搭建与部署 flink实战案例一:flink集群的搭建与部署 1.下载Flink压缩包 下载地址:http://flink.apache.org/downloads.html 根据集群环境的情况下载相应的版本的flink压缩包 hadoop2.6,Scala2.11,所以下载:flink-1.5.0-bin-hadoop26-scala_2.11.tgz 解压 tar -zxf flink-1.5.0-bi... 阅读详情

相关推荐

视频帧插学习(三):ema-vfi代码拆解和分析

video interp EMA-VFI

mikhailbran的博客 712

FLINK客户端配置及安装

FLINK客户端配置及安装

编程技术、独立开发、技术资讯以及编程感悟等内容 1000

秦时明月6.2魔改版_从零到一部署指南_含安卓客户端配置与GM后台直通

本文提供《秦时明月》6.2魔改版从零开始的完整部署指南。详细讲解CentOS服务器环境准备、服务端文件部署与安装、关键端口开放及进程验证。重点涵盖安卓客户端APK的IP修改与重签名方法,并介绍了GM后台工具的访问与使用,助你快速搭建并管理专属游戏服务器。

garlic的博客 316

Flink集群搭建(Standalone)流程以及入门程序编写

环境准备:在文件/etc/hosts追加内容,配置映射地址,不使用虚拟映射直接使用ip也是可以 实际的ip根据服务器资源修改将下载好的Java,在文件/etc/profile后追加内容 使环境变量生效 验证是否成功 三、flink配置修改 flink的配置说明 配置master地址 修改默认内存配置 配置过大,节点资源不足。这个错误信息在节点的flink目录下的log目录中的日志文件能看到,启动控制台不会报错,查看页面发现对应的节点没有挂载上。减小上面两个配置内存参数的数值 配置过小,启动会出错,控制台会出

weixin_42107641的博客 1303

Arduino程序设计(八)LCD显示实验

本文主要介绍温度/温湿度传感器的LCD显示实验,分别是:1、LM35采集环境温度LCD显示;2、DS18B20采集环境温度LCD显示;3、DHT11采集环境温湿度LCD显示。(1)LM35介绍LM35特性特性说明基本功能LM35作为常用的温度传感器,可以检测周围的温度工作原理利用感温材料,通过内部电路将温度值转化为对应的电压信号工作电压4~30V,常用5V供电温度测量测量范围0~100℃ ,误差 ±0.5℃输出信号线性模拟信号输出,LM35输出电压和摄氏温度程线性关系。

Alice的博客 6713

Workbench-nCode下发动机引擎应力疲劳分析

在工程数据库中定义材料模型参数,结构场分析基本参数:密度7850Kg/m3、弹性模量210E9Pa、泊松比0.3,疲劳分析参数:应力-疲劳曲线表(S-N Curve),应力-疲劳曲线如下图2所示,如果没有合适的数据可使用结构钢材料进行分析。网格为四面体高阶单元,各零件的单元尺寸如下表1所示,单元质量分布如下图3所示。在workbench平台下搭建分析流程如下图6所示,前述设定完成后,提交求解后即可得到相应的应力、应变结果,更新结果后目录树中会有相应的nCode DesignLife插件,如下图7所示。

ansysxuexizhe的博客 1552

Flink高手之路2-Flink集群的搭建

准备好数据文件上传hdfs首先要确保 hdfs 集群已经启动发现我们以前已经上传过了提交命令这个错误需要把flink-1.16.1与hadoop3进行集成。查看 flink web ui查看 hdfs web UI点击一个文件查看重启集群删除hdfs上以前创建的output文件夹提交任务,使用之前上传的数据查看结果杀掉hadoop001的master进程,并再次提交任务再次删除hdfs上之前创建的output文件夹再次提交任务,可以正常运行并查看结果,说明高可用搭建成功。

W_chuanqi的博客 5039

基于Python的FAO农业数据高效爬取与分析实战:从Scrapy到异步爬虫的进阶之路

本文将详细介绍如何使用Python最新技术爬取联合国粮农组织(FAO)的农业数据,涵盖从基础爬虫到高级异步爬虫的完整实现过程。文章包含5000余字的技术解析,提供完整的代码示例,并探讨数据处理与存储的最佳实践。

2201_76125261的博客 242

Flink_Flink 集群搭建

本文主要讲解下 flink 如何搭建 : 单节点集群 standalone 集群 yarn session 集群 最近学习了下 Flink ,看了许多天的书,一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。 单节点集群 单节点集群,其实不难。主要我是虚拟机器,内存很小,所以我们要调整 task-manager 的内存参数。 task-manager 的内存分配管理 与 参数配置 是一个大问题,我专门写了一篇文章 : ...

迎难而上 3245

地图自定义编码CSV转换成ini文件

创 建 schema.ini 文件:有时,当您尝试使用 .csv 文件将自定义地理信息导入 Tableau 时,您可能会看到“无法使用.csv,因为它不包含唯一列”错误消息。这是因为您的 .csv 文件可能包含数值数据,例如数值邮政编码。对于新的地理角色,Tableau 将只接受文本字段。但是,您可以创建一个 schema.ini 文件,以指示 Tableau 应将您要导入的数值字段视为文本字段。...

wenyusuran的专栏 1975

【100%通过率】华为OD机试真题 Python 实现【网上商城优惠活动 / 模拟商场优惠打折II】

某网上商场举办优惠活动,发布了满减、打折、无门槛3种 优惠券,分别为: 1:每满100元优惠10元,无使用数限制,如100~199元可以使用1张减10元,200~299可使用2张减20元,以此类推; 2:92折券,1次限使用1张,如100元,则优惠后为92元, 3:无门槛5元优惠券,无使用数限制,直接减5元。

MISAYAONE的博客 9373

Flink集群搭建

Flink集群搭建

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 2712

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【flink】flink集群的搭建

一、Flink支持多种安装模式。 local(本地)——单机模式,一般不使用 standalone——独立模式,Flink自带集群,开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理,生产环境测试 二、Standalone模式 步骤 解压flink压缩包到指定目录 配置flink 配置slaves节点 分发flink到各个节点 启动集群 提交WordCount程序测试 查...

废物点心的博客 850

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

使用Docker搭建Flink集群

学习大数据框架的时候,需要一个Flink集群环境。很多教程在搭建集群的时候使用的是Linux虚拟机,这样开销比较大;本文选择docker容器化部署的方式搭建。

O_1CxH的博客 6114

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

快速入门Flink (2) —— Flink 集群搭建

写在前面: 博主是一名大数据的初学者,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,写博客一方面是为了记录自己的学习历程,一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限,博客中难免会有一些错误,有纰漏之处恳请各位大佬不吝赐教!个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬,但我还是希望自己能够做得更好,因为一天的生活就是一生的缩影。.

大数据梦想家 5136

Flink 集群搭建(基于flink on YARN模式)

基于Flink on YARN的flink集群规划 主机名 IP 说明 centoshadoop1 192.168.227.140 StandaloneSessionClusterEntrypoint(主节点进程名称) centoshadoop2 ...

天涯芳草 6483

flink集群的搭建与部署

运行环境 linux-CentOS6.8 hadoop-2.7.5 Scala-2.11.6 jdk-1.8 flink-1.7.1-bin-hadoop27-scala_2.11.tgz flink搭建 1.下载 下载地址:http://flink.apache.org/downloads.html 根据自己集群环境的情况,下载相应的flink版本。 上面描述我的集群环境是hadoop2.7......

IT晓白 2万+

Flink Standlone集群搭建

Flink Standlone集群搭建详细教程

胖虎儿的博客 8392

Flink在window是下的standard集群搭建

本文介绍了在Windows WSL-Ubuntu环境下搭建Flink 1.20标准集群的步骤,并演示了MySQL-Mysql数据同步的实现。主要内容包括:1) Flink集群安装配置,需修改bind-host为0.0.0.0以支持外部访问;2) MySQL环境准备,需开启binlog日志;3) 通过sql-client创建CDC源表和JDBC目标表,实现数据同步;4) 常见报错解决方案,如连接问题和缺少mysql-cdc连接器。注意:源表必须设置主键,且需确保相关依赖版本兼容性。

青山的博客 1613

flink集群搭建、错误总结

flink集群搭建、错误总结 一、集群搭建 flink Standalone模式集群部署,使用flink1.11版本 flink-1.11.1-bin-scala_2.12 .tgz ,安装环境为七个节点,一个jobmanager七个taskmanager。 1、基础环境准备 1.1、jdk1.8或者更高 默认已安装 1.2、主机名和hosts文件集群内完全对应。如下添加: IP1 hostname1 IP2 hostname2 IP3 hostname3 IP4 hostname4 IP5 hostnam

qq_38558851的博客 6899

Flink高可用集群搭建

Flink入门,高可用集群搭建,java与scala版wordcount程序示例

a805814077的博客 2175

Flink 集群搭建

3.Flink 集群搭建   Flink 可以选择的部署方式有:   Local、Standalone(资源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。   我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 3.1Standalone 模式安装   我们对 standalone...

weixin_30291791的博客 179
上一篇: 《李宏毅机器学习》task9
下一篇: Command line is too long. In order to reduce its length classpath file can be used.
程序员椰子橙
博客等级 码龄9年 46粉丝 163原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值