StreamSet 部署和修改密码

streamset安装配置

1. 下载streamset稳定版本,

nohup wget https://archives.streamsets.com/datacollector/3.16.1/rpm/el7/activation/streamsets-datacollector-3.16.1-el7-activation-all-rpms.tar &

2. 解压安装

tar -xf tar -xf streamsets-datacollector-3.16.1-el7-activation-all-rpms.tar
yum localinstall ./*.rpm

3. 启动Streamset,并设置开机自启

systemctl start sdc
systemctl enable sdc

4. 修改streamset参数,修改初始密码,初始帐号密码为admin admin , 密码可随时在这里修改,实时生效

vim /etc/sdc/form-realm.properties

在这里插入图片描述

密码都是md5,可以自己加密好填写进去,加密网址 https://www.cmd5.com/

5. 修改jvm参数

### 部署Kafka 在CDH中可以直接通过Cloudera Manager部署Kafka。在Cloudera Manager界面中,选择“添加服务”,在服务列表里选中Kafka,按照向导完成主机选择、配置参数等步骤。配置时,需设置`bootstrap.servers`等参数,以确定Kafka集群的连接信息。同时,对于Kafka 2.4版本,要注意`retries``delivery.timeout.ms`等参数的设置,`retries`默认设置为`Integer.MAX_VALUE`,这会使发送客户端一直进行重试直到broker返回ack;`delivery.timeout.ms`默认交付超时时间为2分钟,这样设置可避免由于客户端对异常未处理造成的数据丢失,例如遇到类似“This server is not the leader for that topic - partition”会自动恢复,并且只有一个连接向broker发送数据保证了数据的顺序性,在Leader选举、集群中一个broker挂掉时,发送端会一直重试直到Leader选举结束[^3]。 ### 部署Maxwell Maxwell本身不是CDH的原生组件,需要手动部署。首先要将Maxwell安装包上传到CDH集群的节点上并解压。接着修改Maxwell的配置文件,例如将配置文件路径切换到`/kkb/install/maxwell - 1.21.1`,通过`vim config.properties`命令编辑,设置`producer_partition_by=primary_key`、`kafka_partition_hash=murmur3`、`kafka_topic=flink_house`等参数,使其能将捕获的MySQL binlog数据发送到Kafka指定的主题中。还需要确保Maxwell所在节点能够访问MySQL数据库Kafka集群,配置好相关的连接信息,如MySQL的用户名、密码、主机地址,Kafka的`bootstrap.servers`等。 ### 部署Flink Flink在CDH环境的部署可以通过以下两种方式: - **手动部署**:下载Flink安装包并上传到CDH集群节点,解压后进行配置。编辑`flink-conf.yaml`文件,设置`jobmanager.rpc.address`、`jobmanager.rpc.port`、`taskmanager.numberOfTaskSlots`等参数。将Flink的配置文件分发到集群的各个节点,启动JobManagerTaskManager服务。 - **使用CDH集成**:可以通过Cloudera Manager的Parcel方式集成Flink。在Cloudera Manager界面中,选择“Parcel”,添加Flink的Parcel文件,激活后按照向导完成Flink服务的添加配置。配置时要注意与Kafka的集成,例如设置Flink连接Kafka的相关参数,如`bootstrap.servers`、`group.id`等。以下是一个简单的Flink从Kafka消费数据的示例代码: ```java import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import java.util.Properties; public class FlinkKafkaExample { public static void main(String[] args) throws Exception { // 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 配置Kafka连接属性 Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("group.id", "flink-group"); // 创建Kafka消费者 FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("flink_house", new SimpleStringSchema(), properties); // 添加Kafka数据源 DataStream<String> stream = env.addSource(consumer); // 打印数据 stream.print(); // 执行作业 env.execute("Flink Kafka Example"); } } ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值