KOS平台上安装NiFi的完整指南:简单高效实现大数据流处理

Nifi安装教程 阅读详情

目录

1 概述

2 安装准备

2.1 操作系统环境

2.2 Nifi版本

3 安装

3.1 安装Java

3.2 安装Nifi

3.3 配置Nifi

4 运行Nifi

4.1 启动Nifi服务

4.2 访问Nifi网页端

4.3 停止Nifi服务


1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统,支持x86、ARM等主流架构处理器,性能和稳定性居于行业领先地位,具备成熟的 CentOS 迁移和替换能力,可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网浪潮信息云峦服务器操作系统KeyarchOS_KOS服务器操作系统-浪潮信息

Apache NiFi 是一个易于使用,功能强大且可靠的系统,用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目,目前已经代码开源,是Apache基金会的顶级项目之一。NiFi是基于Java的,使用Maven支持包的构建管理。 NiFi基于Web方式工作,后台在服务器上进行调度。用户可以将数据处理定义为一个流程,然后进行处理,NiFi后台具有数据处理引擎、任务调度等组件。详细介绍见官网Apache NiFi。

2 安装准备

2.1 操作系统环境

版本信息:KeyarchOS 5.8sp1

硬件平台:X86_64

2.2 Nifi版本

Nifi-1.9.2

https://nifi.apache.org/download.html

3 安装

3.1 安装Java

JDK1.8(已经在KOS AppSteam仓库发布),可以通过yum install直接安装。

yum install java

3.2 安装Nifi

1、官网下载安装包:nifi-1.9.2-bin.tar.gz

https://nifi.apache.org/download.html

2、在存放目录下解压下载的nifi安装包

tar -zxvf nifi-1.9.2-bin.tar.gz

3.3 配置Nifi

1、进入解压目录下,修改/bin/nifi-env.sh中的Java环境:

将JAVA_HOME参数设置为jdk目录:

2、修改/conf/nifi.properties中的http配置:

 为避免冲突,修改端口号(默认为8080)为空闲端口号:

3、修改/conf/bootstrap.conf中的运行内存配置:

 设置初始堆大小与最大堆大小:

 4、添加到服务并启动:

ln -s /home/nifi-1.9.2/bin/nifi.sh /etc/init.d/nifi

service nifi start

5、配置服务脚本:

[root@localhost nifi-1.9.2]# cat > /etc/systemd/system/nifi.service << EOF

> [Unit]

> Description=nifi service

> After=network.target

>

> [Service]

> Type=forking

> LimitNOFILE=65536

> ExecStart=/home/nifi-1.9.2/bin/nifi.sh start

> ExecStop=/home/nifi-1.9.2/bin/nifi.sh stop

> User=root

> Restart=on-abort

>

> [Install]

> WantedBy=multi-user.target

> EOF

 

4 运行Nifi

4.1 启动Nifi服务

脚本创建完成后,直接使用systemctl命令启动nifi服务:

systemctl start nifi

systemctl status nifi

查看nifi运行状态:

systemctl status nifi

查看运行状态:./nifi status

4.2 访问Nifi网页端

浏览器访问localhost:9999/nifi

 按住并拖动Processor栏至画布页面即可添加处理器:

 在弹出的界面选择型号:

选定后点击APPLY即可添加处理器:

 除处理器外,nifi还具有数据流、模板、便签等常用组件,可以按需添加配置。

4.3 停止Nifi服务

systemctl stop nifi

systemctl status nifi

结束服务后,web页面立刻提示无法连接:

ETL工具-nifi干货系列 第二讲 nifi下载&安装 官方下载地址:https://archive.apache.org/dist/nifi/,最新的版本是2.X,但是需要jdk版本比较高,可以下载1.X版本,可以直接使用jdk8。本系列讲解的版本是1.25.0,直接点击。找到conf目录中的nifi.properties,设置nifi.security.allow.anonymous.authentication=true,nifi服务启动之后无需用户名和密码直接进入,跳过登录页面。./nifi.sh install,可以通过如下命令和服务交互。 阅读详情

相关推荐

《数据同步-NIFI系列》Nifi详细教程入门-04Nifi单节点、集群部署以及迁移

零主集群即每个节点都可以作为主节点执行任务,节点通过Zookeeper协调,首先Zookeeper会选择一个节点作为集群协调器,然后集群中所有节点都会像该节点发送心跳。如果集群协调器确定允许该节点加入,则将当前流提供给该节点,当节点的流配置版本与集群协调器的版本相同,则该节点可以加入集群,否则不能加入。:集群协调器是Nifi集群中的一个节点,由Zookeeper选举出,负责管理集群中允许执行任务的节点,并为新加入的节点提供最新的数据流量。当选择卸载节点后,该节点的流文件会重新平衡到活动中的其他节点。

https://blog.datasource.space 6441

NiFi安装指南

通过以上步骤,你应该能够在你的系统上成功安装并运行 Apache NiFi。NiFi 提供了强大的数据处理和分发功能,适用于各种数据流处理场景。希望这篇博客对你有所帮助!

北尘 2338

《数据同步-NIFI系列》Nifi详细教程入门-02部署与入门

第四个是process group,相当于系统中的文件夹,可以在组中嵌套组,合理的规划,可以使得整体页面简洁、可读性高。在操作区选择上传模板,通过搜索本地模板的xml文件,UPLOAD即可,后续就跟正常的使用模板一样的操作。第七个是template,通过创建模板,可以在这里使用历史创建的模板,便捷的处理相同场景的问题。: 模板创建好后,通过拖动导航栏的template,可以选择历史创建的模板,ADD即可。稍后会做专门的介绍。2.下载需要的模板到本地,下载为xml文件,也可以将xml文件提供给他人使用。

https://blog.datasource.space 3443

Nifi介绍、安装、实践案例

第1章NiFi基本概念 1.1 概述 简单地说,NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用,但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在,因为企业有多个系统,其中一些系统创建数据,一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式中提供了一个全面且易于使用的表单。 NiFi的诞生,要致力于解决的问题...

Allenzyg的博客 1万+

nifi 安装 使用案例

0 简介 Apache NiFi是一个基于流编程概念的数据流系统。它支持功能强大且可伸缩的数据路由、转换和系统中介逻辑有向图。NiFi有一个基于web的用户界面,用于设计、控制、反馈和监视数据流。它在服务质量的几个维度上是高度可配置的,比如容错与保证交付、低延迟与高吞吐量以及基于优先级的队列。NiFi为所有接收的、分叉的、连接的、克隆的、修改的、发送的和最终到达配置的最终状态时丢弃的数据...

qq_34897849的博客 1677

Apache Nifi安装与尝试

地址:https://nifichina.github.io/

天天进步一点点 1536

Centos7环境下nifi单机部署

本以为在服务器上部署nifi很简单,跟着教程走就好,但是并没有成功,可能是因为版本的问题,也可能有其他原因,导致我一直没有部署成功,后面想着先在本地windows上部署,先学着再说,在看完windows部署教程后,发现了之前教程中没有提到的一点,就是在nifi.properties配置中https和http只能保留一组,于是我再去centos7下部署nifi就成功了,接下来我将具体介绍nifi的部署过程。

m0_70405779的博客 1558

nifi从入门到实战(保姆级教程)——环境篇

Apache Nifi

u011722306的博客 3501

【NIFI】单机安装教程

浏览器中输入:https://192.168.20.128:8443/nifi/login。注意:目前nifi已经升级到了2.0版本,2.0版本将不在支持JDK1.8;Apache NiFi 2.0 最低支持 Java 11。解压之后得到路径:/app/nifi-1.27.0。注意第一次进入可能或提示无法访问,点击高级。我这里的位置是:/app。不修改使用默认的也可以。

weixin_43159039的博客 1256

Dify 进阶指南 | 5步打造智能JSON转换器(Excel数据预处理神器)

本文详细介绍了如何利用Dify平台的Chatflow功能,通过5个步骤构建一个智能JSON转换器,专门用于Excel数据预处理。该工具能够根据用户指令自动解析Excel表格,执行数据清洗、聚合计算,并精准输出定制化的JSON格式,极大提升前端开发、数据分析与测试工作的效率。

weixin_28520495的博客 577

MOOS-ivp实战:从零搭建水下机器人通信系统(Ubuntu 22.04版)

本文详细介绍了在Ubuntu 22.04系统上从零开始搭建MOOS-ivp水下机器人通信系统的完整实战流程。内容涵盖环境准备、核心安装、MOOSDB通信模型解析、自定义应用节点开发、以及调试监控工具链的使用,旨在帮助开发者快速掌握这一分布式机器人系统框架,构建稳定可靠的水下机器人通信与控制系统。

snow3的博客 636

【NiFi】(二)三分钟搞定 NiFi 安装与简单使用!

文章目录一、NiFi 安装二、NiFi 的简单使用 一、NiFi 安装 环境要求: a、需要Java 8或更高版本 b、支持的操作系统:Linux、Unix、Windows、Mac OS X 1、下载安装包 命令:wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz 2、解压安装包、即可使用 命令:tar...

云祁QI 3655

永磁同步电机FOC控制实战:如何用线性死区补偿解决低速抖动问题(附Matlab仿真代码)

本文详细介绍了永磁同步电机FOC控制中线性死区补偿技术的工程实现方法,有效解决低速抖动问题。通过Matlab/Simulink仿真验证,该方案可将转矩脉动降低70%以上,显著提升系统稳定性。文章包含完整的数学模型构建、Simulink实现步骤及参数整定技巧,为工程师提供实用解决方案。

weixin_30872499的博客 155

nifi下载windows版本安装启动成功

nifi安装windows版本, 并成功启动

weixin_51572314的博客 3494

【从零开始学Skynet】实战篇《球球大作战》(一):功能设计

为了能把之前在基础篇中学习到的Skynet的各种知识结合起来,所以在实战篇中,我们准备开发一个完整的游戏案例《球球大作战》,介绍分布式游戏服务端的实现方法。

我是一条寻水的鱼 2986

Allegro如何输出ODB文件操作指导

在PCB设计完成之后,需要输出生产文件用于生产加工,除了gerber文件可以用生产制造,ODB文件同样也可以用于生产,如下图。用Allegro如何输出ODB文件,具体操作如下。如何输出ODB文件操作指导。

weixin_54787054的博客 7219

NiFi【部署 01】1.18.0版本下载安装配置启动及问题处理(一篇学会部署NIFI)

1.18.0版本下载安装配置启动及问题处理(一篇学会部署NIFI)

Java与大数据相关实践内容分享! 4483

educoder中Hive综合应用案例 — 用户搜索日志分析

Hive综合应用案例 — 用户搜索日志分析

weixin_46026136的博客 4800

NiFi安装及部署流程

一、Linux安装Nifi 首先,Linux中得安装jdk,因为NiFi就是Java写的。 1.官网下载NiFi压缩包( 例如:nifi-9.2-bin.tar ) 2.通过Xftp把压缩包放到Linux上 ( 我的默认位置:/usr/local/nifi/ ) 3.进入到压缩包位置, cd /usr/local/nifi 4.解压 tar -zxvf nifi-1.9.2-...

学弟不想努力了 1万+

c++ webrtc基础(1) :webrtc源码下载与编译、项目模块介绍、学习资料推荐

本篇博客介绍webrtc源码的下载与编译,以及推荐webrtc学习资料。 源码下载 电脑环境:win10/win11 64bit,合理的上网环境,没有合理的网络环境无法拉取、下载webrtc代码和工具,宽带速度要快,尽量50M. 主要步骤如下: (1) 安装git (2) 打开cmd控制台,下载google开发工具depot_tools: git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git (3) 新建一个目

琅嬛福地 3299

易盾滑块的js逆向分析

基于易盾的滑块验证码进行逆向分析,最种实现全系列的验证码逆向,包括滑块、点选、推理拼图等多种类型。

shanf7921的博客 3万+

Apache NiFi简介

一个易用、强大、可靠的数据处理与分发系统。基于Web图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集等功能 一、什么是NiFi? NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品,2014年NAS将其贡献给了Apache社区,2015年成为Apache顶级项目 传统的数据流解决方案往往会遇到以下挑战: 网络错误 硬盘错误 软件崩溃 人为错误 数...

HuFeiHu 1万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

nifi集群_NiFi安装(单机+集群)

单机版安装NIFI下载[图片上传失败...(image-9c4277-1534489940155)]解压下载完成后解压。(在linux中解压,解压后上传到linux系统的话有些文件会存在读写权限的问题)配置修改端口号和路径:#conf/nifi.properties#启动后访问的地址:nifi.web.http.host=node4#访问端口nifi.web.http.port=8080启动bin...

weixin_28752709的博客 969

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

NIFI 2.0.0版本HTTPS访问部署

在Linux环境部署NIFI 2.0.0,实现https远程访问

u013071014的博客 4968

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: KeyarchOS环境下JDK1.8.0_74安装与环境变量配置详细图文教程
下一篇: 在keyarchos5.8系统下,安装openjdk12
KeyarchOS
博客等级 码龄3年 1312粉丝 339原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值