kafka 消费位点
墨初 知识笔记 184阅读
如何在 Kafka 中判断消费位移或发生位移越界?
答:在 Kafka 中,每当消费者组内的消费者查找不到所记录的消费位移或发生位移越界时,就会根据消费者客户端参数 auto.offset.reset 的配置来决定从何处开始进行消费,这个参数的默认值为 “latest” 。 auto.offset.reset 的值可以为 earliest、latest 和 none 。
kafka 的消费者有哪些用法及模型?
答:kafka 的消费者有很多种不同的用法及模型. 本文着重探讨0.9版本及之后的 kafka 新consumer API的 手动提交和 多线程的使用 在 kafka 的消费者中,有一个非常关键的机制,那就是offset机制。 它使得 Kafka 在消费的过程中即使挂了或者引发再均衡问题重新分配Partation,当下次重新恢复消费时仍然可以知道从哪里开始消费。
kafka手动提交,消息是否重复消费条件是什么?
答:kafka手动提交 ,消息是否重复消费条件 1.如果在消费 kafka 的数据过程中,一直没有 提交 offset,那么在此程序运行的过程中它不会重复消费。 但是如果重启之后,就会重复消费之前没有 提交 offset的数据。
kafka再均衡后消费状态丢失怎么办?
答:若在再均衡过程中采用了kafka的自动提交机制就可能造成再均衡前的消费者消费状态丢失的问题。 比如消费者拉取并处理了一部分消息,还未来得及提交消费位移,但再均衡之后会将这个分区分配给别的消费者,