欢迎来到飞鸟慕鱼博客,开始您的技术之旅!
当前位置: 首页知识笔记正文

kafka从头消费数据

终极管理员 知识笔记 180阅读

如何重新消费kafka的偏移量?

重新消费的第一种方式 :修改偏移量,新版本的 kafka (0.9版本及以上) 不在保存偏移量到 zookeeper 中,而是保存在 Kafka 的一个内部 Topic 中 __consumer_offsets ,该 Topic 默认有50个 Partition ,每个 Partition 有3个副本,分区数量由参数 offset.topic.num.partition 设置。

kafka的重复消费场景是什么?

重复消费 场景: 1. 消费 端 消费 能力比较低,处理消息速度慢 2.根据 kafka消费 特性, 消费 者在每个partion上的位置都是一个整数,即 消费 下一条消息的偏移量。 这个状态可以定期检查点,使得消息的确认变得非常的方便, 消费 者可以倒退回旧的偏移量, 重新消费 。 3.消息处理完之后提交下一个 消费 的 offset ,而在 se ssion-time-out前,消息还没有处理完,但是已经超时被 kafka 视为 消费 失败... 其实 kafka 的 重复消费 问题究其底层根本原因就是:已经 消费 了 数据 ,但是 offset 没提交 ( kafka 没有或者不知道该 数据 已经被 消费 )。

kafka的消费者组和offset信息怎么存zookeeper?

注意:从kafka-0.9版本及以后,kafka的消费者组和offset信息就不存zookeeper了,而是存到broker服务器上,所以,如果你为某个消费者指定了一个消费者组名称(group.id),那么,一旦这个消费者启动,这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上。 比如我们为消费者A指定了消费者组(group.id)为fg11,那么可以使用如下命令查看消费者组的消费情况: 其实friend这个topic共有3个分区,消息总数为12条,其实在消费者A启动之前,这12条消息已经被其他某个组的消费者消费过了。
声明:无特别说明,转载请标明本文来源!