nifi1.28.1集群部署详细记录

最新推荐文章于 2025-11-24 15:16:33 发布
原创 最新推荐文章于 2025-11-24 15:16:33 发布 · 983 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #分布式

NiFi 1.28.1 必须使用JDK 1.8或更高版本，低于此版本将无法运行。
验证命令：java -version
配置一定用主机名！！！

1.解压安装包

unzip nifi-1.28.1-bin.zip

2.配置环境变量

cat <<‘EOF’ > /etc/profile.d/nifi.sh
export NIFI_HOME=/data12/nifi/nifi-1.28.1
export PATH= P A T H : PATH: PATH:{NIFI_HOME}/bin
EOF
sleep 1
source /etc/profile.d/nifi.sh

cat <<‘EOF’ > /etc/profile.d/jdk8.sh
export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64/jre
export PATH= P A T H : PATH: PATH:{JAVA_HOME}/bin
EOF
s

最低0.47元/天 解锁文章
sunxunyong
关注
纯手动搭建大数据集群架构_记录011_搭建Nifi_安装部署_搭建集群---大数据之Hadoop3.x工作笔记0172
添柴程序猿的专栏
03-03 952
这个/opt/module/nifi-1.9.2/conf/nifi.properties文件和/opt/module/nifi-1.9.2/conf/state-management.xml文件都修改完了以后。然后再爱看这里的nifi.cluster.flow.election.max.candidates=1这里设置成1 表示只有几个节点,集群就可以运行。然后nifi.web.http.port=58080 这里只把 nifi.web.http.port=8080 这个端口改成 58080就可以了.
NIFI【应用 01】1.28.1版本使用实例分享（InvokeHTTP、PutDatabaseRecord、DBCPConnectionPool）配置使用及模板分享
Java与大数据相关实践内容分享！
01-08 3939
NIFI 1.28.1版本使用实例分享（InvokeHTTP、PutDatabaseRecord、DBCPConnectionPool）配置使用及模板分享
NIFI【应用 02】1.28.1版本使用实例分享（GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6）配置使用及模板分享（txt文件解析）
Java与大数据相关实践内容分享！
12-12 2231
NIFI 1.28.1版本使用实例分享（GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6）配置使用及模板分享（txt文件解析）
Apache Nifi安装与尝试
天天进步一点点
04-09 1343
地址：https://nifichina.github.io/
NiFi 2.0 集群部署-OIDC模式
2404_87598839的博客
01-08 1401
NiFi 2.0 集群部署-OIDC模式
Nifi 2.6 集群部署
2404_87598839的博客
11-17 2394
Apache Nifi在11月初正式推出2.0版本，本文旨在帮助读者如何快速部署2.0版本Nifi集群。
NIFI源码学习-（五、1）NIFI的集群部署实现-Two-phase Commit（2PC）协议
东南_bit的博客
05-09 1306
NIFI是可以部署成集群的，在多台机器上分布式部署提高数据吞吐能力。本文第五章，通过源码，来梳理NIFI的分布式如何实现。 在上一节 NIFI的 WAL 日志部分有提到，NIFI的数据，分为两部分，一个是在界面上可操作的配置信息部分，比如添加的处理器，新增的处理器组，两个处理器之间新增的连接，处理器的启停，另外一个就是flowFile部分，比如Web接口接到XML之后，拆分成了很多条。所以这部分也分为两部分来说。 一、界面配置同步 还是以处理器的启动为例，在本系列的第一篇文章中，就已经讲到了启动处理器
nifi集群_NiFi安装（单机＋集群）
weixin_28752709的博客
01-14 797
单机版安装NIFI下载[图片上传失败...(image-9c4277-1534489940155)]解压下载完成后解压。(在linux中解压，解压后上传到linux系统的话有些文件会存在读写权限的问题)配置修改端口号和路径：#conf/nifi.properties#启动后访问的地址:nifi.web.http.host=node4#访问端口nifi.web.http.port=8080启动bin...
单节点、集群部署，四，集群配置（nifi嵌入式zk）
酷酷的诚的博客
02-04 899
使用zookeeper配置NiFi群集，以实现故障转移功能和NiFi服务的正常运行时间。 在Apache NiFi中有两种设置集群的方法： 1使用随安装本身提供的嵌入式zookeeper服务。 2环境中使用已配置的zookeeper仲裁。 使用NIFI嵌入式zk 编辑nifi.properties： 找到#State Management＃ config并将nifi.state.man...
Nifi 2.6 快速部署
2404_87598839的博客
11-19 4428
Apache NiFi社区于2024年11月初正式发布了NiFi 2.0版本。本文将介绍如何快速部署一套2.0版本的Nifi服务。
NIFI的处理器：RouteOnContent 1.28.1
tizaitian的专栏
05-22 319
将正则表达式应用于FlowFile的内容，并将FlowFile的副本路由到正则表达式匹配的每个目标。正则表达式作为用户定义的属性添加，其中属性的名称是关系的名称，值是与FlowFile内容匹配的正则表达式。用户定义的属性确实支持属性表达式语言，但结果被解释为文字值，而不是正则表达式。该处理器根据流文件内容进行匹配和路由，因此它会对性能产生影响，尤其是当文件内容较大时。操作：点击“+”号，即add Property按钮，输入Property name的值为info，表达式值为.*Info.*。
【NiFi】（二）三分钟搞定 NiFi 安装与简单使用！
云祁QI
04-07 3429
文章目录一、NiFi 安装二、NiFi 的简单使用 一、NiFi 安装 环境要求： a、需要Java 8或更高版本 b、支持的操作系统：Linux、Unix、Windows、Mac OS X 1、下载安装包 命令：wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz 2、解压安装包、即可使用 命令：tar...
Apache Nifi单机环境搭建问题记录
Jahson的专栏
10-21 1459
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一。NiFi基于Web方式工作，后台在服务器上进行调度。用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件...
nifi集群_kerberos授权集群部署NIFI
weixin_39698217的博客
12-20 621
接着上一遍文章单机NIFI使用kerberos授权登录和权限分配192.168.42.6 nifi0 KDC192.168.42.3 nifi1 客户端192.168.42.4 nifi2 客户端192.168.42.5 nifi3 客户端上面文章已经实现了nifi1服务器节点的kerberos授权和登录，下面开始安装集群NIFI第一步：把nifi1的nifi-1.12.0-bin.ta...
NIFi 集群环境部署
weixin_45936082的博客
12-30 1358
NIFi 集群环境部署 使用外部zookeeper前言一、安装包下载解压二、修改配置1.修改nifi.propries2.修改state-management.xml 文件三、启动 前言 因为集群环境部署是采用的 外部 Zookeeper ，因此 需要 服务器上先部署好 Zookeeper 的集群环境 一、安装包下载解压 此次安装选用的是 NiFi 1.12.0 版本 大家自行去NiFi 官网下载 # 解压 先选一台服务器进行操作 tar -zxvf nifi-1.12.0-bin.tar.gz # 将
Linux_14（多线程）线程控制+C++多线程
2401_87986548的博客
11-24 635
本文介绍了Linux线程控制的关键概念和操作。主要内容包括：1）线程创建（pthread_create）的参数和使用方法；2）线程结束的三种方式（pthread_exit、return和pthread_cancel）；3）线程等待（pthread_join）的必要性和实现机制；4）线程tid的本质是共享区TCB结构体地址；5）线程局部存储（__thread）实现线程独享全局变量；6）线程分离（pthread_detach）实现自动释放资源。文章还通过代码示例演示了C++多线程本质是对pthread的封装。这
【Linux】make 与 makefile 实现自动化构建
L_0907的博客
11-24 385
本篇文章主要介绍 Linux 中 make 工具与 makefile 来实现自动化构建
设计模式之原型模式在 C 语言中的应用（含 Linux 内核实例）
鹰之翔
11-24 53
原型模式是一种创建型设计模式，通过复制已有对象（原型）来创建新对象，避免重复初始化。C语言实现时，使用结构体封装原型对象，通过函数指针定义克隆接口，支持浅克隆和深克隆。 示例1展示了用户对象的基础克隆，复制ID、姓名等属性。示例2演示了含动态内存属性的深克隆，确保复制指针指向的内容而非仅指针本身。原型模式适用于复杂对象初始化或批量创建相似对象场景，提高效率并保持一致性。 关键点： 原型模式解耦对象创建与实现 C语言通过结构体和函数指针实现 区分浅克隆（基础属性）和深克隆（动态内存） 适用于资源密集型对象的创
linux shell编程实战 10 Git工具详解与运维场景实战
最新发布
qq_39241682的博客
11-24 287
Git是一款由Linus Torvalds（Linux内核创始人）开发的分布式版本控制系统，它的核心作用是追踪文件的修改历史，并允许开发者（或运维工程师）在不同版本间切换、合并修改、协作开发。 对于「Linux shell编程与运维」课程来说，Git的价值体现在三个核心场景：
nifi1.28.1写入kafka2.13
11-01
<think>我们正在讨论的是Apache NiFi 1.28.1版本如何配置写入Kafka 2.13。根据引用内容，我们可以知道： - 引用[1]提供了Kafka集群的地址和NiFi的访问地址，说明用户有一个Kafka集群（版本未明确，但题目要求是Kafka 2.13）和NiFi实例。 - 引用[2]提到了一个使用NiFi处理器PublishKafkaRecord_2_6的实例，虽然版本不同（2.6 vs 我们需要的2.13），但配置方法类似，可以作为参考。 - 引用[3]是NiFi集群部署的记录，说明用户可能是在集群环境下运行，但问题本身不限于集群环境。 - 引用[4]说明了NiFi集群基于ZooKeeper，而Kafka也需要ZooKeeper，因此需要确保ZooKeeper集群可用。 - 引用[5]是另一个NiFi处理器的使用实例，表明用户对NiFi处理器的配置流程有一定了解。 因此，我们需要提供NiFi 1.28.1向Kafka 2.13写入数据的完整指南，包括处理器选择、配置步骤、常见问题及解决方法。 步骤： 1. 处理器选择：在NiFi中，写入Kafka的处理器主要有两个：PublishKafka和PublishKafkaRecord。由于Kafka版本为2.13，我们应选择支持该版本的处理。在NiFi 1.28.1中，有多个版本的处理，例如PublishKafkaRecord_2_6（适用于Kafka 2.6.x），但也可以用于更高版本的Kafka（只要客户端兼容）。另外，还有PublishKafkaRecord_2_0、PublishKafkaRecord_0_11等。通常，选择与Kafka集群版本最匹配的处理器，但如果没有完全匹配的，可以选择客户端兼容的版本。对于Kafka 2.13，我们可以选择PublishKafkaRecord_2_6（因为2.6之后的客户端通常兼容2.13），或者检查NiFi是否提供了更高版本的处理（如PublishKafkaRecord_2_8）。在NiFi 1.28.1中，内置的处理包括到2.6版本。因此，我们使用PublishKafkaRecord_2_6，并通过配置正确的Kafka客户端版本来确保兼容性。 2. 配置步骤： a. 将PublishKafkaRecord_2_6添加到画布。 b. 配置处理器属性： - Kafka Brokers: 输入Kafka集群的地址，如引用[1]中的`Kafkahost001.dev.ia:19092,host001.dev.ia:29092,host001.dev.ia:39092`。 - Topic Name: 指定要写入的Kafka主题。 - Record Writer: 选择记录写入器，例如使用JsonRecordSetWriter将FlowFile内容作为JSON写入Kafka。 - 其他重要属性： - Security Protocol: 如果Kafka启用了安全认证（如SSL或SASL），需要配置。 - Delivery Guarantee: 选择交付保证（如最多一次，至少一次，精确一次）。 - Compression Type: 压缩类型（如snappy, gzip等）。 - Kafka Version: 手动指定Kafka版本（虽然处理器是2.6，但我们可以通过设置属性`kafka.version`为2.13来使用相应的客户端）。注意：NiFi的处理器可能默认使用与处理器版本匹配的客户端，但我们可以通过覆盖`kafka.version`属性来指定更高版本。需要确保NiFi的Kafka客户端库支持2.13版本。在NiFi 1.28.1中，默认的Kafka客户端版本可能是2.6，但我们可以手动指定为2.13（需确认NiFi的lib目录下是否有对应版本的kafka-clients包。如果没有，需要手动添加）。 注意：NiFi 1.28.1自带的Kafka客户端库版本可能不支持Kafka 2.13，因此可能需要升级kafka-clients库。NiFi 1.28.1默认使用的是Kafka客户端2.6.0（与处理器版本匹配）。如果我们希望使用Kafka 2.13，需要将相应版本的kafka-clients jar包放入NiFi的lib目录下（例如kafka-clients-2.13.x.x.jar），并重启NiFi。 3. 可能遇到的问题及解决办法： - 问题1: 处理器无法连接Kafka。 解决：检查Brokers地址是否正确，网络是否连通，Kafka是否在运行，以及安全配置（SSL/SASL）是否正确。 - 问题2: 版本不兼容，出现异常如`java.lang.NoSuchMethodError`或`UnsupportedVersionException`。 解决：升级NiFi的Kafka客户端库到与Kafka集群匹配的版本（2.13）。注意，升级库后，处理器应选择与库版本匹配的（如PublishKafkaRecord_2_6可以继续使用，因为其内部使用配置的kafka-clients库）。 - 问题3: 认证失败。 解决：配置正确的安全协议和认证信息（如JAAS配置、SSL证书等）。 - 问题4: 记录写入格式错误。 解决：检查Record Writer的配置，确保输出格式与Kafka消费者预期的格式匹配。 4. 操作示例： 参考引用[2]中的实例，我们可以构建一个类似的流程，但使用Kafka 2.13： - 使用GetFile获取数据（如文本文件）。 - 使用SplitText分割文本行（如果需要逐行处理）。 - 使用ExtractText提取内容（可能转换为JSON格式）。 - 使用AttributesToJSON将属性转换为JSON（可选）。 - 使用PublishKafkaRecord_2_6将记录发布到Kafka。 注意：在PublishKafkaRecord_2_6的配置中，设置Kafka Brokers、Topic，并指定Record Writer为JsonRecordSetWriter（配置适当的Schema）。 5. 验证： 可以通过Kafka控制台消费者检查消息是否被正确写入。 注意事项： - 确保NiFi节点有网络访问Kafka集群的权限。 - 在集群环境下，NiFi节点都需要配置相同的Kafka客户端库（如有手动升级）。 - 如果使用Kerberos认证，需要在nifi.properties中配置Kerberos服务主体和keytab文件（引用[3]中提到了TLS配置，但Kerberos配置类似）。 最后，生成相关问题。 </think>### NiFi 1.28.1 写入 Kafka 2.13 使用指南 #### 一、处理器选择与配置 NiFi 写入 Kafka 主要使用 **PublishKafkaRecord** 系列处理器（如 `PublishKafkaRecord_2_6`）。虽然名称含版本号，但通过配置可兼容 Kafka 2.13： 1. **添加处理器** 在画布拖入 `PublishKafkaRecord_2_6`（NiFi 1.28.1 内置该处理器） ```plaintext Processor > Apache Kafka 2.6 > PublishKafkaRecord_2_6 ``` 2. **核心配置**（按引用[1][2]调整） | 属性 | 值示例 | 说明 | |---|---|---| | `Kafka Brokers` | `Kafkahost001.dev.ia:19092,host001.dev.ia:29092` | Kafka集群地址[^1] | | `Topic Name` | `my_topic` | 目标Kafka主题 | | `Record Writer` | `JSONRecordSetWriter` | 数据格式转换器 | | `Security Protocol` | `SASL_SSL` | 安全协议（若启用） | | `SASL Mechanism` | `PLAIN` | 认证机制 | | `Username/Password` | 账号凭证 | SASL认证信息 | 3. **版本兼容配置** 在处理器自定义属性中添加： ```plaintext 属性名: kafka.version 值: 2.13 # 强制指定Kafka客户端版本 ``` 需确保 NiFi lib 目录包含 Kafka 2.13 的客户端库（如 `kafka-clients-3.6.1.jar`）。若无，需手动下载放入 `$NIFI_HOME/lib/` 并重启[^3]。 #### 二、数据流构建示例 参照引用[2][5]，构建完整流程： ``` GetFile → SplitText → ExtractText → AttributesToJSON → PublishKafkaRecord_2_6 ``` 1. **ExtractText处理器** 提取文本内容到属性 `content`： ```plaintext 属性名: content 正则: (.*) # 捕获全文 ``` 2. **AttributesToJSON处理器** 将属性转为JSON格式： ```plaintext 属性列表: content 目标属性: kafka_message ``` 3. **Record Writer配置** 为 `PublishKafkaRecord_2_6` 创建 `JSONRecordSetWriter`： ```json { "Schema Write Strategy": "no-schema", "Schema Access Strategy": "do-not-inherit" } ``` #### 三、常见问题与解决 1. **连接失败** - ✅ **检查点**：确认 `Kafka Brokers` 地址与端口正确[^1] - ✅ **网络策略**：确保 NiFi 节点可访问 Kafka Broker 的端口 - ✅ **协议配置**：若 Kafka 启用 SSL，需在 NiFi 配置证书（参考引用[3]） 2. **版本不兼容错误** 如遇 `UnsupportedVersionException`： ```log ERROR org.apache.nifi.publishkafka.Failed processing session: org.apache.kafka.common.errors.UnsupportedVersionException ``` - ✅ **解决方案**： 1. 手动下载 Kafka 2.13 的客户端库（[Maven仓库](https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients/3.6.1)） 2. 替换 `$NIFI_HOME/lib/` 中的旧 JAR 文件 3. 重启 NiFi 节点[^3] 3. **认证失败** SASL/PLAIN 认证错误时： - ✅ 检查 `jaas.conf` 配置（集群环境需同步到所有节点）： ```plaintext KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="user" password="pass"; } ``` - ✅ 在 `nifi.properties` 添加： ```properties nifi.kafka.ssl.security.protocol=SASL_SSL nifi.kafka.sasl.mechanism=PLAIN ``` #### 四、性能优化建议 1. **批处理设置** ```plaintext PublishKafkaRecord_2_6 > Properties: Message Max Count: 10000 # 单次发送最大消息数 Compression Type: snappy # 启用压缩 ``` 2. **集群部署** 多节点 NiFi 集群需配置： - ZooKeeper 连接（引用[4]） - 相同版本的 Kafka 客户端库 - 同步 `jaas.conf` 安全配置到所有节点[^3] 3. **容错机制** ```plaintext PublishKafkaRecord_2_6 > Settings: Failure Strategy: Route to Failure Delivery Guarantee: BEST_EFFORT # 根据场景选GUARANTEED_DELIVERY ``` > **关键验证步骤**： > 在 Kafka 端运行消费命令验证数据： > ```bash > bin/kafka-console-consumer.sh --bootstrap-server host001.dev.ia:19092 --topic my_topic > ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值