Post #219

Если вы пытаетесь понять Apache Kafka и запутались во всех этих кластерах, партициях, репликациях и оффсетах, то вот тут есть отличная визуализация: https://softwaremill.com/kafka-visualisation/ Здесь можно настроить число брокеров (серверов в кластере), партиций: на сколько частей будет порезан ваш единый топик (журнал, очередь) для параллельной обработки отдельными экземплярами консьюмеров, фактор репликации: сколько раз каждая партиция будет продублирована на разных брокерах, а также — число консьюмеров и их групп (группа — это тип потребителя, а отдельный консьюмер — конкретный экземпляр потребителя, всё это нужно для параллельной обработки запросов из общей очереди). Дальше можно смотреть, что происходит, когда часть брокеров в кластере умирает, а потом восстанавливается; когда консьюмеры забирают сообщения медленнее, чем продюссер их генерирует — например, можно посмотреть, как они сначала отстают, а при добавлении ещё одного консьюмера (и партиции!) в группу догоняют. В общем, залипательный мультик про работу кафки, рекомендую! 😏