Broker Ayarları - Compaction Of Topic Data

Compaction vs Retention

Retention ile belirli bir tarihten eski olan her şey siliniyor ancak geriye kalan loglarda halen aynı key için farklı zamanlarda gelmiş value değerleri olabilir

Compaction zamana göre değil, key değerleri ile yapılan bir şey

Compaction Yöntemleri

Kafka'da iki çeşit compaction yöntemi var

1. Log compaction 

2. Key compaction

1. Log compaction - Varsayılan Yöntem

cleanup.policy = compact ile etkinleştirilir. Açıklaması şöyle

It ensures that the log contains the latest value of each key in the log. In log compaction, Kafka retains the most recent message for each key in the log and removes all older versions of that key.

Şeklen şöyle. Compaction işleminden sonra logda her key için en son value değerini bulunur

Key compaction

Açıklaması şöyle

This mode of compaction ensures that the log contains the latest value of each key, but it also retains the most recent message with a null value for each key. This is useful when you need to keep track of the presence or absence of a key in the topic.