Kafka 快速入门:从零搭建消息队列环境完整指南

本文简单介绍了 Kafka 3.9.0 版本的基本安装、配置和调测的完整步骤,希望对你有帮助。

这篇文章是一篇Ubuntu(Linux)环境下的Kafka安装与使用教程,通过本文,你可以非常快速搭建一个kafka的小单元进行日常开发与调测。

下载与解压安装

首先我们需要下载一下Kafka的安装包,这里笔者采用的是通用的wget指令:

wget https://downloads.apache.org/kafka/3.9.0/kafka_2.13-3.9.0.tgz

    完成下载后将项目解压与重命名,方便后续的使用:

    tar -xzf kafka_2.13-3.9.0.tgz
    mv kafka_2.13-3.9.0 kafka
    基本配置

    因为笔者是在Windows下的Linux子系统,为保证宿主机和子系统内部的Kafka可以准确连通,需打开config/server.properties文件,将IP改为你的对应主机IP以确保监听正确的网卡并接受处理请求:

    对于内网测试的用户,直接手动配置为本地环回地址即可:

    listeners=PLAINTEXT://127.0.0.1:9092
    advertised.listeners=PLAINTEXT://127.0.0.1:9092

      对于外网用户需要特别注意,对应的配置要求为:

      • listeners选项IP地址配置为0.0.0.0以监听所有网卡
      • advertised.listeners配置为外网IP地址,这是客户端连接时使用的地址
      listeners=PLAINTEXT://0.0.0.0:9092
      
      advertised.listeners=PLAINTEXT://your-public-ip:9092
      启动测试

      完成上述步骤之后,通过bin目录的zookeeper-server-start.sh脚本启动注册中心ZooKeeper,观测控制台启动日志确保无误后,可以尝试后台启动:

      ./bin/zookeeper-server-start.sh config/zookeeper.properties

        如下图,成功绑定2181后即可说明zk启动成功了:

        同理将Kafka服务端启动即可:

        ./bin/kafka-server-start.sh config/server.properties
          生产者与消费者收发调测

          经过上述的基本配置之后,我们已经成功的将kafka服务端启动了,以本文为例笔者的消费者会订阅transactions 这个topic,对应的启动指令为:

          ./bin/kafka-console-consumer.sh --bootstrap-server your-ip:9092 --topic transactions --from-beginning

            因为笔者服务器ip为172.19.182.7,且主题为transactions 所以对应的执行指令为:

            ./bin/kafka-console-consumer.sh --bootstrap-server 172.19.182.7:9092 --topic transactions --from-beginning

              确认无误后,启动一个topic为transactions的生产者投递消息,对应启动指令如下:

              ./bin/kafka-console-producer.sh --broker-list 172.19.182.7:9092 --topic transactions

                随后我们在生产者控制台键入hello consumer:

                >hello consumer

                  如下图,如果消费者接收消息成功,则说明本次kafka的基本配置与部署完成:

                  后台启动

                  确认上述流程无误后,我们可以通过后台启动的方式启动Kafka环境,对应的后台启动指令如下:

                  nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.log 2>&1 &
                  
                  
                  nohup ./bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &

                  AI大模型学习福利

                  作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

                  一、全套AGI大模型学习路线

                  AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

                  因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取

                  二、640套AI大模型报告合集

                  这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

                  因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获

                  三、AI大模型经典PDF籍

                  随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。


                  因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获

                  四、AI大模型商业化落地方案

                  因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获

                  作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量

                  评论
                  成就一亿技术人!
                  拼手气红包6.0元
                  还能输入1000个字符
                   
                  红包 添加红包
                  表情包 插入表情
                   条评论被折叠 查看
                  添加红包

                  请填写红包祝福语或标题

                  红包个数最小为10个

                  红包金额最低5元

                  当前余额3.43前往充值 >
                  需支付:10.00
                  成就一亿技术人!
                  领取后你会自动成为博主和红包主的粉丝 规则
                  hope_wisdom
                  发出的红包
                  实付
                  使用余额支付
                  点击重新获取
                  扫码支付
                  钱包余额 0

                  抵扣说明:

                  1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
                  2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

                  余额充值