BWone的博客

如果对Kafka基本概念不了解，建议先学习一下一些名词的含义： 附上：Kafka入门和进阶   创建主题（创建了一个test主题）： bin/kafka-topics.sh --create --zookeeper 虚拟机IP:2181 --replication-factor 2 --partitions 1 --topic test 注：创建主题时副本数要小于broker数 查看主题： bin/kafka-topics.sh --list --zookeeper 虚拟机IP:2181 显示

什么是Kafka Kafka 是一个分布式的基于 发布/订阅模式 的流式平台，主要应用于大数据实时处理领域。 它有三个关键能力： 1.订阅发布记录流，它类似于企业中的消息队列 或 企业消息传递系统 2.以容错的方式存储记录流 3.实时记录流 Kafka 的应用 作为消息系统 作为存储系统 作为流处理器 Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。 建立流式应用传输和响应数据。 Kafka 作为消息系统 Kafka 作为消息系统，它有三个基本组件 Producer : 发

本篇在 Hadoop集群启动HDFS 的基础上继续配置   YARN启动： 配置mapred-site.xml（复制mapred-site.xml.template配置模板生成mapred-site.xml）： cp /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml vim /usr/local/h

压缩包下载地址：https://archive.apache.org/dist/hadoop/common/ 准备工作： 关闭防火墙 三台IP不同的虚拟机： 详情见：Linux修改IP地址 java环境（JDK1.7以上版本）： 详情见：Linux下安装JDK Zookeeper单机和集群： 详情见：手把手带你搭建Zookeeper单机和集群 有ssh服务并且可以免密登录： 详情见：Linux设置ssh免密登录   注：准备就绪后开始，分别在三台虚拟机上操作 创建文件夹： mkdir /usr/l

编辑文件： vi /etc/ssh/sshd_config # 新增一行 RSAAuthentication yes # 这两行需要打开注释 PubkeyAuthentication yes PasswordAuthentication yes 三台服务器分别生成ssh密钥（三次回车后出现密钥图形）： ssh-keygen -t rsa 在 master 服务器（主服务器）上切换到 .ssh 下： cd ~ cd .ssh 效果图 在三台服务器中中添加另外两台服务器的IP和主机名： 想要更改主机

编辑文件 vi /etc/sysconfig/network 添加 NETWORKING=yes # 主机名，此处我设置为hadoop1 HOSTNAME=hadoop1 NETWORKING_IPV6=no PEERNTP=no GATEWAY=虚拟机IP地址 修改hosts文件 vi /etc/hosts 在文件中添加一行 IP地址 主机名

压缩包地址：http://mirror.bit.edu.cn/apache/kafka/ 准备工作： Zookeeper集群环境： 详情见：手把手带你搭建Zookeeper单机和集群   创建kafka文件夹： mkdir /usr/local/kafka 解压： tar -zxvf /usr/local/kafka_2.12-2.3.0.tgz -C /usr/local/kafka 创建data文件夹（在启动kafka时系统会为我们新建logs文件夹，这里其实是配置数据所在的路径）： mk

压缩包下载地址：http://mirror.bit.edu.cn/apache/zookeeper/ 这里多说一句，附上两种导入文件的方法： 第一种（文件太大时最好别用）： 安装上传下载文件组件：yum install lrzsz 上传下载文件：rz -be 第二种（推荐）： 使用Xftp导入文件 准备工作： java环境（JDK1.7以上版本）： 单机搭建： 创建文件夹： mkdir /...

查看虚拟机IP地址和mac地址： ifconfig ip addr 编辑文件： vi /etc/sysconfig/network-scripts/ifcfg-ens33 添加或修改内容(有配置就修改没有就添加)： # 这里如果为no的话就改为yes，表示网卡设备自动启动 ONBOOT=yes # 配置IP地址 IPADDR=IP地址 # 配置mac地址 HWADDR=mac地址 #...

这里多说一句，附上两种导入文件的方法： 第一种（文件太大时最好别用）： 安装上传下载文件组件：yum install lrzsz 上传下载文件：rz -be 第二种（推荐）： 使用Xftp导入文件 创建文件夹： mkdir /usr/local/jdk 解压： tar -zxvf /usr/local/jdk-8u144-linux-x64.tar.gz -C /usr/local/jd...