kafka消费位置
终极管理员 知识笔记 82阅读
kafka消费者如何保存其消费的进度？
答：我们大家都知道，kafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的kafka api不同而不同。 首先来说说消费者如果是根据javaapi来消费，也就是【 kafka.javaapi.consumer.ConsumerConnector 】 ，我们会配置参数【zookeeper.connect】来消费。
如何在 Kafka 中判断消费位移或发生位移越界？
答：在 Kafka 中，每当消费者组内的消费者查找不到所记录的消费位移或发生位移越界时，就会根据消费者客户端参数 auto.offset.reset 的配置来决定从何处开始进行消费，这个参数的默认值为 “latest” 。 auto.offset.reset 的值可以为 earliest、latest 和 none 。
kafka再均衡后消费状态丢失怎么办？
答：若在再均衡过程中采用了kafka的自动提交机制就可能造成再均衡前的消费者消费状态丢失的问题。 比如消费者拉取并处理了一部分消息，还未来得及提交消费位移，但再均衡之后会将这个分区分配给别的消费者，
如何在kafka中显示消息在分区中的位置？
答：比如订阅所有的测试主题： 对于Kafka中的分区而言，它的每条消息都有唯一的offset，用来表示消息在分区中的位置。 当我们调用poll ()时，该方法会返回我们没有消费的消息。