Cara Menginstal Apache Kafka di Debian 11/10

Apache Kafka adalah platform streaming terdistribusi. Berguna untuk membangun jalur pipa data streaming real-time untuk mendapatkan data antara sistem atau aplikasi. Fitur lain yang bermanfaat adalah aplikasi streaming real-time yang dapat mengubah aliran data atau bereaksi pada aliran data.

Tutorial ini akan membantu Anda menginstal Apache Kafka di Debian 11, Debian 10, dan Debian 9 Linux Systems.

Langkah 1 - Instal Java

Apache kafka mengharuskan java untuk berlari. Anda harus menginstal Java di sistem Anda. Jalankan perintah di bawah ini untuk menginstal OpenJDK default pada sistem Anda dari PPA resmi.

sudo apt update sudo apt install default-jdk 

Langkah 2 - Unduh Apache Kafka

Unduh file biner Apache Kafka dari situs web unduhan resmi. Anda juga dapat memilih cermin terdekat untuk diunduh.

wget https: // dlcdn.Apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz  

Kemudian ekstrak file arsip

TAR XZF KAFKA_2.13-3.2.0.tgz  sudo mv kafka_2.13-3.2.0/usr/lokal/kafka  

Langkah 3 - Buat file unit SystemD

Selanjutnya, buat file unit SystemD untuk layanan ZooKeeper dan Kafka. Ini akan membantu mengelola layanan kafka untuk memulai/berhenti menggunakan perintah Systemctl.

Pertama, buat file unit SystemD untuk ZooKeeper dengan perintah di bawah ini:

vim/etc/systemd/system/zookeeperer.melayani 

Tambahkan konten di bawah ini:

[Unit] Deskripsi = Dokumentasi Server Apache ZooKeeper = http: // Zookeeperer.Apache.org membutuhkan = jaringan.Target Remote-FS.target setelah = jaringan.Target Remote-FS.Target [layanan] type = Simple execStart =/usr/local/kafka/bin/zooKeeper-server-start.sh/usr/local/kafka/config/zookeeperer.properti execstop =/usr/local/kafka/bin/zookeeper-server-stop.SH restart = on-abnormal [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Selanjutnya, untuk membuat file unit SystemD kafka menggunakan perintah berikut:

vim/etc/systemd/system/kafka.melayani 

Tambahkan konten di bawah ini. Pastikan untuk mengatur yang benar Java_home jalur sesuai java yang diinstal pada sistem Anda.

[Unit] Deskripsi = Dokumentasi Server Apache Kafka = http: // kafka.Apache.org/dokumentasi.html membutuhkan = zooKeeper.Layanan [Layanan] Type = Simple Environment = "java_home =/usr/lib/jvm/java-1.11.0-OPENJDK-AMD64 "ExecStart =/usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/server.properti execstop =/usr/local/kafka/bin/kafka-server-stop.sh [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Muat Ulang Daemon SystemD untuk menerapkan perubahan baru.

Systemctl Daemon-reload 

Langkah 4 - Mulai Kafka Server

Kafka membutuhkan zooKeeper jadi pertama -tama, mulailah server zookeeper di sistem Anda. Anda dapat menggunakan skrip yang tersedia dengan kafka untuk memulai instance zookeeper simpul tunggal.

Sudo Systemctl Mulai Zookeeper 

Sekarang mulailah server kafka dan lihat status berjalan:

sudo systemctl start kafka sudo systemctl status kafka 

Semua selesai. Instalasi Kafka telah berhasil diselesaikan. Bagian dari tutorial ini akan membantu Anda bekerja dengan server Kafka.

Langkah 5 - Buat topik di kafka

Kafka menyediakan beberapa skrip shell pra-dibangun untuk mengerjakannya. Pertama, buat topik bernama "Testtopic" dengan satu partisi dengan replika tunggal:

CD/USR/LOCAL/KAFKA BIN/KAFKA-TOPICS.sh --create --bootstrap-server localhost: 9092--replikasi-faktor 1 --partisi 1-Topik Testtopik dibuat Topik testtopic. 

Faktor replikasi menjelaskan berapa banyak salinan data yang akan dibuat. Saat kami berjalan dengan satu contoh, pertahankan nilai ini 1.

Atur opsi partisi sebagai jumlah broker yang Anda ingin data Anda terpecah antara. Saat kami berlari dengan satu broker, pertahankan nilai ini 1.

Anda dapat membuat beberapa topik dengan menjalankan perintah yang sama seperti di atas. Setelah itu, Anda dapat melihat topik yang dibuat di kafka dengan perintah yang berjalan di bawah ini:

BIN/KAFKA-TOPICS.SH - -list --zookeeper Localhost: 9092 testtopic tecadmintutorial1 tecadmintutorial2 

Atau, alih-alih membuat topik secara manual, Anda juga dapat mengkonfigurasi broker Anda untuk membuat topik secara otomatis ketika topik yang tidak ada diterbitkan.

Langkah 6 - Kirim pesan ke kafka

"Produser" adalah proses yang bertanggung jawab untuk memasukkan data ke dalam kafka kami. Kafka dilengkapi dengan klien baris perintah yang akan mengambil input dari file atau dari input standar dan mengirimkannya sebagai pesan ke kluster kafka. Kafka default mengirimkan setiap baris sebagai pesan terpisah.

Mari kita jalankan produser dan kemudian ketik beberapa pesan ke konsol untuk dikirim ke server.

Bin/Kafka-Console-Produser.SH --BROKER-DISTHOST LOCAL: 9092 --Topic testtopic> Welcome To Kafka> Ini adalah topik pertama saya> 

Anda dapat keluar dari perintah ini atau menjaga terminal ini tetap berjalan untuk pengujian lebih lanjut. Sekarang buka terminal baru untuk proses konsumen Kafka pada langkah berikutnya.

Langkah 7 - Menggunakan konsumen Kafka

Kafka juga memiliki konsumen baris perintah untuk membaca data dari kluster kafka dan menampilkan pesan ke output standar.

BIN/KAFKA-Console-Consumer.sh --bootstrap-server localhost: 9092-Testtopic testopic ---from-from Welcome to Kafka Ini adalah topik pertama saya 

Sekarang, jika Anda masih menjalankan produser kafka (langkah #6) di terminal lain. Cukup ketik beberapa teks di terminal produser itu. itu akan segera terlihat di terminal konsumen. Lihat tangkapan layar di bawah ini dari produsen dan konsumen Kafka dalam bekerja:

Kesimpulan

Anda telah berhasil menginstal dan mengonfigurasi layanan Kafka pada sistem Linux Debian.