Thursday, May 11, 2023

Kafka Connect FileStreamSinkConnector Sınıfı

Giriş
connect-file-3.3.2.jar veya hangi sürümü kullanıyorsak bu jar'ın Kafka Broker'path'inde olması gerekir

Örnek
Bir tane properties dosyasında şöyle yaparız
name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/home/kafka/connect/target
topics=connect-test
Kafka'yı çalıştırırken şöyle yaparız
./connect-standalone.sh \
../config/connect-standalone.properties \
../config/connect-file-source.properties \
../config/connect-file-sink.properties
Örnek
Elimizde connect-standalone.properties isimli bir dosya olsun.
bootstrap.servers=localhost:29092

key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter

offset.storage.file.filename=/tmp/connect.offsets
Elimizde connect-file-sink.properties isimli bir dosya olsun. standalone-test topic'ten okur ve output.txt dosyasına yazar
name=standalone-file-sink
connector.class=FileStreamSink
tasks.max=1
file=output.txt
topics=standalone-test
Çalıştırmak için şöyle yaparız
kafka_2.13-2.6.0/bin/connect-standalone.sh connect-standalone.properties
connect-file-sink.properties

No comments:

Post a Comment

kafka-consumer-groups.sh komutu

Giriş Bir topic'i dinleyen consumer'ları gösterir. Aynı topic'i dinleyen consumer group'ları olabilir. Her topic farklı part...