欢迎来到飞鸟慕鱼博客,开始您的技术之旅!
当前位置: 首页知识笔记正文

kafka日志记录

终极管理员 知识笔记 112阅读

kafka消息存储在什么目录中?

kafka消息存储在kafka集群中(分parition存储,每个partition对应一个目录。 目录名为 {partitionId},kafka接收到的消息存放于此目录下,包含log文件,index文件,timeindex索引文件(0.10.1后的版本)

什么是 Kafka?

Kafka 是一个高吞吐量的分布式发布订阅消息系统,它的应用场景很多,如 日志 采集、消息系统、运营指标等。 在 日志 采集的场景中,我们项目的重要服务可能会通过集群进行部署,每个服务有它自己的 日志 记录产生,这些 日志 都是散落在它们自己的服务器上,这种 日志 记录不集中的形式给我们分析 日志 的时候带来了很大的不便,因此我们需要通过 日志 采集将这些散落在各个服务器上的 日志 记录集中起来,便于我们在解决问题时进行 日志 分析和查看。

kafka消息落盘后信息怎么查看?

目录名为 {partitionId},kafka接收到的消息存放于此目录下,包含log文件,index文件,timeindex索引文件(0.10.1后的版本) 使用kafka-run-class工具调用kafka.tools.DumpLogSegments,查看kafka消息落盘后信息。
声明:无特别说明,转载请标明本文来源!