- 博客(4)
- 收藏
- 关注
RSS订阅原创 flume常用组件模板
下文中的agent统一取名为a1#taildir sourcea1.sources = r1a1.sources.r1.type = TAILDIR #选择source为TAILDIRa1.sources.r1.filegroups = f1 #需要监控的文件夹组，实现多目录监控a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.* # 需要监控的文件夹a1.sources.r1.positionFile = /opt..
2021-10-06 10:05:26
234
原创 kafka工作流程
一、生产者端1.将数据包装为ProducerRecord对象 Producer通过调用send(ProducerRecord)发送消息,ProducerRecord对象包含Topic等信息2.Interceptor 拦截器，通过API可以自定义拦截器，过滤掉不需要的信息3.序列化 由于kafka是集群工作模式，集群之间传递需要序列化（Serilizer）4.分区（partition） send()函数参数Topic、va...
2021-09-02 19:45:46
1115
原创 hive安装步骤，包括客户端及JDBC两种方式
hive一般将元数据(表名，字段，以及对应的hdfs路径)存在mysql中，首先在linux环境下安装好mysqlmysql安装步骤如下：1)首先将linux自带的mariadb-libs-5.5.56-2.el7.x86_64卸载 rmp -e2）接下来开始安装mysql，[atguigu@hadoop102 mysql-lib]$ sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm[atguigu@h...
2021-08-20 19:27:39
387
原创 关于hadoop(hdfs)高可用(ha)的配置步骤
hadoop3.0以后，支持搭建多个namenode，而hadoop2.0版本只支持2个namenode,搭建步骤总结如下：1.配置core-site.xml<configuration><!--把多个NameNode的地址组装成一个集群mycluster 集群名可以随意起，要跟hdfs-site.xml对应上--><property><name>fs.defaultFS</name><valu...
2021-08-20 18:34:17
846
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人