kafka
关注
分享
扫一扫
文章平均质量分 95
撸码小丑
BUG制造商
展开
-
【Kafka】如何从指定时间开始消费Topic
如何从指定时间开始消费Topic使用前提使用实例使用前提0.10.1.1版本的kafka增加了时间索引文件，可以根据指定的时间戳计算出的Offset来访问TopicPartition中的消息。使用实例public class TimestampOffsetConsumer { public static void main(String[] args) { ...原创 2020-04-14 15:20:41 · 8294 阅读 · 0 评论 -
Kafka参数详解及调优--生产者
引言在实际的kafka开发中，我们会发现，无论是生产者还是消费者，都需要构建一个Properties对象，里面设置了很多参数。对于很多初学者来说，会看不懂这些参数分别代表什么含义。在本篇文章我们就来详细地了解一下这些参数的作用，并探讨下如何使用合理的配置去优化提高生产/消费效率。正文1.kafka生产者参数我们先来看一段生产者的构建代码。Properties props = new P...原创 2019-05-23 14:24:24 · 2729 阅读 · 1 评论 -
Kafka参数详解及调优--消费者
引言在实际的kafka开发中，我们会发现，无论是生产者还是消费者，都需要构建一个Properties对象，里面设置了很多参数。对于很多初学者来说，会看不懂这些参数分别代表什么含义。在本篇文章我们就来详细地了解一下这些参数的作用，并探讨下如何使用合理的配置去优化提高生产/消费效率。正文1.kafka消费者参数我们先来看一段消费者的构建代码。Properties props = new P...原创 2019-05-23 11:58:03 · 5571 阅读 · 0 评论 -
CDH-Kerberos环境下KafkaManager的安装使用（编译版和免编译版）
为了能够方便的查看及管理Kafka集群，yahoo提供了一个基于Web的管理工具（Kafka-Manager）。这个工具可以方便的查看集群中Kafka的Topic的状态（分区、副本及消息量等），支持管理多个集群、重新分配Partition及创建Topic等功能。项目地址：https://github.com/yahoo/kafka-manager 前提：JDK1.8环境1、编译（必...原创 2018-11-02 15:39:17 · 1127 阅读 · 0 评论 -
Kafka集成sentry的授权命令
前提知识：1. 一旦对Kafka启用Sentry授权以后，kafka用户就是管理员，一切管理员操作都需要使用kafka用户来操作，这个与我们在Hive/Impala中使用Sentry时，hive用户是管理员原理是一样的2. 如果只是测试系统，建议将Sentry权限的cache刷新间隔调低，这次测试由默认的30s改为了1ms，如果使用默认，将需要等待30s才能让新的权限生效。3. 在给Top...原创 2018-11-01 17:46:51 · 2776 阅读 · 0 评论 -
CDH-Kerberos环境下Kafka集成Sentry进行权限管理
1.文档编写目的 Sentry在CDH平台中定位为统一的授权框架，即所有的组件都要受Sentry的管理，当然也是为了方便用户的操作，一个入口为所有数据相关进行授权。Fayson在前面的文章中介绍了大量Sentry与Hive/Impala的集成文章，其实Sentry除了可以给Hive/Impala表授权外，还可以管理HDFS ACL，Kafka，Solr，Kudu等。前两天Fayson也介绍过如...转载 2018-11-01 16:56:22 · 3689 阅读 · 0 评论 -
Kafka集成Kerberos之后如何使用生产者消费者命令
前提：1、kafka版本1.0.12、在linux中使用kinit刷新kerberos认证信息/在配置文件中配置keytab路径和票据1、生产者1.1、准备jaas.conf并添加到环境变量（使用以下方式的其中一种）1.1.1、使用Kinit方式前提是手动kinit配置内容为：KafkaClient {com.sun.security.auth.module.Krb...原创 2018-11-01 11:49:58 · 4532 阅读 · 0 评论 -
Flume结合Kafka简单实例
默认已经安装好了flume，zk集群，kafka集群 使用flume读取linux的文本文件，将文本文件中的数据发送到kafka1.创建flume配置文件vim $flume_home/conf/exec.conf a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = execa1.sour...原创 2018-04-14 13:34:26 · 481 阅读 · 0 评论 -
使用kafka和storm简单模拟天猫双十一实时统计订单各个维度信息
程序说明:根据双十一当天的订单mq，快速计算当天的订单量、销售金额思路：1,支付系统发送mq到kafka集群中，编写storm程序消费kafka的数据并计算实时的订单数量、订单数量2,将计算的实时结果保存在redis中3,外部程序实时展示结果程序设计数据产生：编写kafka数据生产者，模拟订单系统发送mq数据输入：使用PaymentSpout消费kafka中的数据...原创 2018-04-14 13:21:41 · 3128 阅读 · 0 评论 -
简单Storm消费Kafka数据并存储到redis实例（订单信息处理）
maven依赖<dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>0.9.5</ve原创 2018-04-14 13:04:29 · 3389 阅读 · 1 评论 -
简单Kafka入门程序
一个简单的kafka生产者消费者代码，使用自定义的Partitioner进行分区。使用maven管理依赖。pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...原创 2018-04-14 12:52:14 · 450 阅读 · 0 评论