A estas alturas ya no hace falta introducir Kafka (aunque si aún no lo conocéis en el Blog hemos dedicado bastantes posts desde 2013: https://unpocodejava.com/?s=kafka)

Otra cosa son las herramientas, creo que una de las cosas que se echan en falta es una suite consistente de herramientas, aunque por suerte hay ya numerosas ofertas comerciales (como Kafka Tool, Landoop, KaDeck,…)

En el ámbito open-source tenemos alguna opción, entre ellas una de las más interesantes es Kafdrop

Kafdrop es una herramienta web open-source (Apache 2) que permite ver el estado y contenido de los tópicos, de los grupos de consumidores, configurar los tópicos,…

Ejecutar Kafdrop es tan sencillo como:

Donde KAFKA_BROKERCONNECT representa la lista de Brokers Kafka.

O bien con el JAR directamente:

O en Kubernetes vía Helm:

Nada más ejecutarlo veremos en http://localhost:9000 este UI:

Kafka está construido sobre Spring Boot, por lo que es fácilmente integrable con el ecosistema Spring (muy útil en mi caso).

Otro tema interesante es que Kafdrop integra APIs REST (Swagger) que dan el estado del cluster Kafka, y además integrar Spring Actuator lo que me permite monitorizar el estado del cluster vía este Healthcheck.

Veamos alguna otra pantalla de la UI de Kafdrop:

Overview

Estado de un grupo de consumidores

Ver mensajes en un tópico: