简单的裸机 迅速搭建一个standalone的flink

Flink1.18.1在CentOS7下的安装和部署 本文是Flink1.18.1在CenOS7下的安装和部署的学习笔记,记录了基本的安装步骤及参数配置,给初学者避坑用。 阅读详情
  1. 首先把预先搞好的裸机clone一下(没有裸机可以重新搞)
  2. 然后第一部打开以后先

vi /etc/sysconfig/network-scripts/ifcfg-eth0

  1. 配置主机名(重启生效)

[root@CentOS ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=CentOS

  1. 设置IP映射

[root@CentOS ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.40.110 CentOS

  1. JDK1.8+安装完成

[root@CentOS ~]# rpm -ivh jdk-8u171-linux-x64.rpm
[root@CentOS ~]# ls -l /usr/java/
total 4
lrwxrwxrwx. 1 root root 16 Mar 26 00:56 default -> /usr/java/latest
drwxr-xr-x. 9 root root 4096 Mar 26 00:56 jdk1.8.0_171-amd64
lrwxrwxrwx. 1 root root 28 Mar 26 00:56 latest -> /usr/java/jdk1.8.0_171-amd64
[root@CentOS ~]# vi .bashrc
JAVA_HOME=/usr/java/latest
PATH=PATH:PATH:PATH:JAVA_HOME/bin
CLASSPATH=.
export JAVA_HOME
export PATH
export CLASSPATH
[root@CentOS ~]# source ~/.bashrc

  1. HDFS正常启动(SSH免密认证)

[root@CentOS ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory ‘/root/.ssh’.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
4b:29:93:1c:7f:06:93:67:fc:c5:ed:27:9b:83:26:c0 root@CentOS
The key’s randomart image is:
±-[ RSA 2048]----+
| |
| o . . |
| . + + o .|
| . = * . . . |
| = E o . . o|
| + = . +.|
| . . o + |
| o . |
| |
±----------------+
[root@CentOS ~]# ssh-copy-id CentOS
The authenticity of host ‘centos (192.168.40.128)’ can’t be established.
RSA key fingerprint is 3f:86:41:46:f2:05:33:31:5d:b6:11:45:9c:64:12:8e.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘centos,192.168.40.128’ (RSA) to the list of known hosts.
root@centos’s password:
Now try logging into the machine, with “ssh ‘CentOS’”, and check in:
.ssh/authorized_keys
to make sure we haven’t added extra keys that you weren’t expecting.
[root@CentOS ~]# ssh root@CentOS
Last login: Tue Mar 26 01:03:52 2019 from 192.168.40.1
[root@CentOS ~]# exit
logout
Connection to CentOS closed.

  1. 配置HDFS|YARN
    将hadoop-2.9.2.tar.gz解压到系统的/usr目录下然后配置[core|hdfs|yarn|mapred]-site.xml配置文件。
    [root@CentOS ~]# vi /usr/hadoop-2.9.2/etc/hadoop/core-site.xml
<!--nn访问入口-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://CentOS:9000</value>
</property>
<!--hdfs工作基础目录-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop-2.9.2/hadoop-${user.name}</value>
</property>

[root@CentOS ~]# vi /usr/hadoop-2.9.2/etc/hadoop/hdfs-site.xml


<!--block副本因子-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<!--配置Sencondary namenode所在物理主机-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>CentOS:50090</value>
</property>
<!--设置datanode最大文件操作数-->
<property>
        <name>dfs.datanode.max.xcievers</name>
        <value>4096</value>
</property>
<!--设置datanode并行处理能力-->
<property>
        <name>dfs.datanode.handler.count</name>
        <value>6</value>
</property>

[root@CentOS ~]# vi /usr/hadoop-2.9.2/etc/hadoop/yarn-site.xml

<!--配置MapReduce计算框架的核心实现Shuffle-洗牌-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!--配置资源管理器所在的目标主机-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>CentOS</value>
</property>
<!--关闭物理内存检查-->
<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>
<!--关闭虚拟内存检查-->
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

[root@CentOS ~]# vi /usr/hadoop-2.9.2/etc/hadoop/mapred-site.xml

<!--MapRedcue框架资源管理器的实现-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

  • 配置hadoop环境变量
[root@CentOS ~]# vi .bashrc
HADOOP_HOME=/usr/hadoop-2.9.2
JAVA_HOME=/usr/java/latest
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export CLASSPATH
export PATH
export M2_HOME
export MAVEN_OPTS
export HADOOP_HOME
[root@CentOS ~]# source .bashrc

  • 启动Hadoop服务
[root@CentOS ~]# hdfs namenode -format # 创建初始化所需的fsimage文件
[root@CentOS ~]# start-dfs.sh
[root@CentOS ~]# start-yarn.sh
  1. Flink的安装
  • 上传并解压flink
[root@centos ~]# tar -zxf flink-1.8.1-bin-scala_2.11.tgz -C /usr/
  • 配置flink-conf.yaml
[root@centos ~]# vi /usr/flink-1.8.1/conf/flink-conf.yaml
jobmanager.rpc.address: centos
taskmanager.numberOfTaskSlots: 4
parallelism.default: 3
  • 配置slaves
[root@centos ~]# vi /usr/flink-1.8.1/conf/slaves
centos
  • 启动Flink
[root@centos flink-1.8.1]# ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host centos.
Starting taskexecutor daemon on host centos.
[root@centos flink-1.8.1]# jps
2912 Jps
2841 TaskManagerRunner
2397 StandaloneSessionClusterEntrypoint
手把手教你Flink单机版安装部署,亲测可行! 下载安装部署包: wget https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.11.tgz 解压缩: tar -xzvf flink-1.12.0-bin-scala_2.11.tgz 进入conf目录下 flink-conf.yaml 修改rest.port 8778(8081端口过于常用) 进入bin目录执行:(启动集群) ./start-cluster.sh 访问链接http://host:8 阅读详情

相关推荐

Flink独立集群部署和HA部署

本片详细说明了Flink独立集群部署和HA部署规则和注意要点,并给出具体操作实例,如有出入还望指正。

永远热泪盈眶 坚持输出 2017

flink安装以及运行自带wordcount示例(单机版,无hadoop环境)

1、下载安装包到/opt目录 2、解压安装包 tar zxf flink-1.6.1-bin-hadoop26-scala_2.11.tgz  3、启动flink cd /opt/flink-1.6.1/bin [root@localhost bin]# ./start-cluster.sh  Starting cluster. Starting standalonesession ...

日进一步 9462

flink 源码阅读-准备

fork flink源码到本地 git clone git@github.com:apache/flink.git 报错如下: Cloning into 'flink'... The authenticity of host 'github.com (13.229.188.59)' can't be established. RSA key fingerprint is SHA256:nThbg6kXUpJWGl7E1IGOCspRomTxdCARLviKw6E5SY8. Are you sure you

三石 469

java-Flink(三)

entry class是启动类的入口,program arguments是启动的参数配置,parallelism是并行的数,并行数的优先级代码局部的>代码里全局的 >ui界面的>conf文件的,show plan 可以看到代码的过程。在物理机采用虚拟机的ip加端口号的形式无法访问该页面,但是在物理机可以ping通虚拟机的ip,因此怀疑虚拟机的防火防没有关闭。在启动flink之前,需要安装Java的环境,并配置Java的环境变量,建议配置当前用户的环境变量。将工程打包成jar包,上传到ui页面对应的位置。

miaoANDmiao的博客 428

Mac下安装Flink的local模式(flink-1.5.2)

dsv

九师兄 1282

手把手教你用C#和LibUsbDotNet实现USB设备通信(含完整代码示例)

本文详细介绍了如何使用C#和LibUsbDotNet库实现USB设备通信,包括设备识别、连接建立、同步/异步数据读写等核心操作。通过完整的代码示例,开发者可以快速掌握USB通信的关键技术,适用于工业自动化、医疗设备等多种场景。重点讲解了数据读写优化和错误处理技巧,帮助提升通信效率和可靠性。

a3b4c5的博客 707

Apache Flink之架构概述和环境(章节一)

作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy 百知教育 背景介绍 继Spark之后第三代内存计算框架Flink应运而生,Flink作为第三代计算框架Flink吸取了二代大数据Spark计算的设计的精华,依然采用DAG模型做任务拆分,但是Spark在流处理领域上因为微观批处理实时性不高甚至在性能上还不能和一代流处理框架Storm匹...

麦田里的守望者-蒋中洲【相信相信的力量】 1290

ANSYS_APDL实战入门——从零开始掌握模态分析

本文为ANSYS APDL模态分析实战入门指南,通过一个悬臂梁案例,手把手教你从零开始掌握APDL命令流。内容涵盖从模型创建、材料定义、网格划分到边界条件设置、求解及后处理结果查看的全流程,帮助工程师快速上手结构动力学分析,避免共振风险。

egg99的博客 1132

Flink1.17集群部署问题-解决xsync分发问题

脚本放到了/usr/bin目录下,并重命名为xsync,flink部署在/opt/module下了。然后再flink所在目录下执行xsync flink......就可以了。最近有一个小家伙问了我一个问题,如下。#xsync环境变量。

Matrix70的博客 501

MATLAB编程实战:通过SCPI命令高效读取普源示波器数据

本文详细介绍了如何利用MATLAB通过SCPI命令高效读取普源示波器数据,实现自动化测试与数据分析。文章从硬件连接到软件配置,再到核心代码编写与数据解析,提供了完整的实战指南,帮助工程师和科研人员摆脱手动操作,直接从示波器内存中精准读取数据,并利用MATLAB进行FFT频谱分析,大幅提升工作效率。

weixin_29176179的博客 547

【配环境】ubuntu18.04 3080ti显卡+cuda+cudnn+torch

1.打开系统设置中的software & updates点击 System Settings,选择 Additional Drivers 标签,下面会列出当前显卡可用的驱动版本。 注意:3080ti建议不要安装最新版本驱动 点击Apply Changes即可安装; 注意:3080ti只能装cuda11.x 修改软连接修改系统使用的cuda 卸载老版本cuda 重新查询看是否卸载成功 显卡驱动及CUDA Toolkit最高对应版本 查询驱动版本............

sinat_41670685的博客 3914

理解裸机部署过程ironic

部署物理机跟部署虚拟机的概念在nova来看是一样,都是nova通过创建虚拟机的方式来触发,只是底层nova-scheduler和nova-compute的驱动不一样。虚拟机的底层驱动采用的libvirt的虚拟化技术,而物理机是采用Ironic技术,ironic可以看成一组Hypervisor API的集合,其功能与libvirt类似。 操作系统安装过程 Linux系统启动过程 bootl...

weixin_30813225的博客 1158

数字IC后端笔记-libcell命名规则与标准单元库介绍

ND3D1BWP13T40P140HVTND3D1BWP13T40P140HVTTSMC两种工艺,Metalization Stack的截面示意图:还有一层AP用来走RDL,RDL这层是最厚的一层,一般用于连接IO的bump,信号线基本上不会用这层绕线。

sinat_41774721的博客 2468

Flink集群部署

前言系统环境上传软件包开始配置修改配置文件将上面改的三个配置文件传输到另外两台启动 系统环境 vim /etc/hosts 20.0.0.21 flink1 20.0.0.22 flink2 20.0.0.23 flink3 master与另外两个节点配置免密 20.0.0.21: ssh-keygen -t rsa ##一路回车 ssh-copy-id root@20.0.0.22 ssh-copy-id root@20.0.0.23 上传软件包开始配置 cd /opt tar zxvf flink

著名艺术家 313

Allegro如何画Photoplot_Outline操作指导

在用Allegro进行PCB设计的时候,最后进行光绘输出前,Photoplot_Outline是必备一个图形,所有在Photoplot_Outline中的图形将被输出,Photoplot_Outline以外的图形都将不被输出。如何绘制Photoplot_Outline,具体操作如下。如何画Photoplot_Outline操作指导。

weixin_54787054的博客 2641

超临界二氧化碳发电技术深度解析

超临界二氧化碳发电技术正在突破传统热电转换的物理边界。作为新一代发

硬核科技 602

flink对接kafka

1.flink集群部署 1.1下载地址 https://archive.apache.org/dist/flink/ 1.2解压 tar -zxvf flink-1.6.0-bin-hadoop26-scala_2.11.gz -C /home 1.3配置环境变量(hadoop01 hadoop02 hadoop03) vim /etc/profile export FLINK_HOME=/home/flink-1.6.0 export PATH=:PATH:PATH:PATH:FLINK_HOME/bin

weixin_43690478的博客 1501

北斗导航 | SPP、RTK、RTD、PPP-RTK、PPP算法原理,公式及完整matlab代码

开发参考:SPP适合入门学习GNSS定位原理和最小二乘。RTK是工程高精度定位主流方案,但依赖基站。PPP适合无基站区域的广域高精度应用。PPP-RTK是融合两者优点的新一代技术,但系统复杂度最高。· 代码资源:raPPPid(VieVS PPP)是功能完整的MATLAB开源PPP工具箱,支持多系统PPP-AR。MATLAB GPS Toolbox 提供从SPP到PPP的完整功能实现。· 实际应用:农业自动驾驶、无人机航测通常使用网络RTK;大地测量、地壳形变监测常采用PPP事后处理;

尘世冰封的专栏 830

flink的伪分布式搭建

一 flink的伪分布式搭建 1.1 执行架构图 1.Flink程序需要提交给 Job Client 2.Job Client将作业提交给 Job Manager 3.Job Manager负责协调资源分配和作业执行。 资源分配完成后,任务将提交给相应的 Task Manage。 4.Task Manager启动一个线程以开始执行。Task Manager会向Job Manager报告状态更改。例如开始执行,正在进行或已完成。 5.作业执行完成后,结果将发送...

健康平安的活着的专栏 2101

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

[4] Flink大数据流式处理利剑: Flink集群安装和运行

本节笔者总结了如何在一个机器上安装集群,以及在多个机器上安装集群;并提到了通过zookeeper可以让Flink集群的Master节点也保持高可用;最后演示了如何部署一个SocketWindowWordCount.jar的例子,并在Flink的Web UI上面观察其job的执行情况和输出!

超越梦想,一起飞!!! 4356

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Flink从入门到真香(Flink环境部署-单机)

一、准备工作 安装java yum install java-11-openjdk -y[root@localhost opt]# java -versionopenjdk version "11.0.8" 2020-07-14 LTSOpenJDK Runtime Environment 18.9 (build 11.0.8+10-LTS)OpenJDK 64-Bit Server VM 18....

MaFei的博客 769

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Flink:详细的不能再详细的安装步骤(三)[安装步骤]

3.第Flink 集群搭建 Flink 支持多种安装模式。 local[本地]单机模式 -------单机模式, 一般不使用 standalone --------独立模式, Flink 自带集群,开发测试环境使用 yarn ------计算资源统一由 Hadoop YARN 管理,生产环境测试 3.1 standalone 集群环境 3.1.1 准备工作 jdk1.8 及以上【 配置 JAVA_HOME 环境变量】 ssh 免密码登录【 集群内节点之间免密登录】 3.1.2 下载安装包 Flin

7282

The authenticity of host 'localhost (127.0.0.1)' can't be established的处理方法

      ssh localhost的时候遇到:ubuntu@VM-0-15-ubuntu:~/taoge/hadoop_begin/hadoop-2.7.5$ ssh localhost The authenticity of host 'localhost (127.0.0.1)' can't be established.     怎么办?ubuntu@VM-0-15-ubuntu:~/....

认知 行动 坚持 3万+

hadoop-flink完全分布式集群搭建

hadoop-flink完全分布式集群搭建

柒柒柒柒 4933

Apache Flink(二):Flink的环境搭建和入门程序

Flink环境搭建 设置CentOS进程数和文件数(重启生效) -可选 [root@Spark ~]# vi /etc/security/limits.conf * soft nofile 204800 * hard nofile 204800 * soft nproc 204800 * hard nproc 204800 配置主机名(重...

qq_38310603的博客 289
上一篇: 风控建模
下一篇: metron使用心得
zax_java
博客等级 码龄8年 62粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值