weixin_53299145的博客

前提：务必查看防火墙状态！（三台主机都要看）保证关闭再进行下一步。

Tips:除环境变量以外，以下文件都在hadoop安装包的etc/hadoop之下。

配置集群免密服务

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav

第一步：编写flume的配置文件ListenPort.conf 文件用来监听本地的55555端口，并将数据存入kafka中# Name the components on this agent# 分别给agent中组件定义别名a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the source# 配置接收方法、地址和端口号a1.sources.r1.type = netcata1.sources.r1.

以下所有命令在/usr/apps/kafka目录运行1.启动内置的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties2.启动kafka服务bin/kafka-server-start.sh config/server.properties3.创建topic话题bin/kafka-topics.sh --create --topic test --bootstrap-server 192.168.38.144:909

第一步配置Flume配置文件此配置可以去官网搜索，简单修改即可链接：https://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html创建监听日志文件的配置：/usr/apps/flume-1.7.0/kafka-producer.confpro.sources = s1pro.channels = c1pro.sinks = k1 pro.sources.s1.type = execpro.sources.s1.

以下是kafka常用命令行总结：1.查看topic的详细信息./kafka-topics.sh -zookeeper127.0.0.1:2181-describe -topic testKJ12、为topic增加副本./kafka-reassign-partitions.sh -zookeeper127.0.0.1:2181-reassignment-json-file json/partitions-to-move.json -execute3、创建topic./kafka-topics.sh

题目要求在Hadoop集群上搭建1.6.3版本的Spark分布式集群。（提示如下，注意每一步骤的代码与结果需截图在报告中体现）1.Spark安装包处理，解压到/usr/local目录下，在master节点通过命令“wget -P /opt http://datasrc.tipdm.net:81/bigdata/spark/software/spark-1.6.3-bin-hadoop2.6.tgz”进行获取。2.Spark配置文件修改（spark-env.sh、slaves、spark-default