Cara menginstal apache kafka di centos 8

Apache Kafka adalah platform streaming terdistribusi. Berguna untuk membangun jalur pipa data streaming real-time untuk mendapatkan data antara sistem atau aplikasi. Fitur lain yang bermanfaat adalah aplikasi streaming real-time yang dapat mengubah aliran data atau bereaksi pada aliran data.

Tutorial ini akan membantu Anda menginstal Apache Kafka Centos 8 atau RHEL 8 Linux Systems.

Prasyarat

• Sistem yang baru diinstal disarankan untuk mengikuti pengaturan server awal.
• Akses Shell ke Sistem Centos 8 dengan Akun Privileges Sudo.

Langkah 1 - Instal Java

Anda harus menginstal Java di sistem Anda untuk menjalankan Apache Kafka. Anda dapat menginstal OpenJDK di mesin Anda dengan menjalankan perintah berikut. Juga, pasang beberapa alat yang diperlukan lainnya.

sudo dnf menginstal java-11-openjdk wget vim  

Langkah 2 - Unduh Apache Kafka

Unduh file biner Apache Kafka dari situs web unduhan resmi. Anda juga dapat memilih cermin terdekat untuk diunduh.

wget https: // dlcdn.Apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz  

Kemudian ekstrak file arsip

TAR XZF KAFKA_2.13-3.2.0.tgz  sudo mv kafka_2.13-3.2.0/usr/lokal/kafka  

Langkah 3 - Mengatur file unit Systemd Kafka

Centos 8 menggunakan SystemD untuk mengelola status layanannya. Jadi kita perlu membuat file unit SystemD untuk layanan ZooKeeper dan Kafka. Yang membantu kami mengelola layanan kafka untuk memulai/berhenti.

Pertama, buat file unit SystemD untuk ZooKeeper dengan perintah di bawah ini:

vim/etc/systemd/system/zookeeperer.melayani 

Tambahkan di bawah ini Contnet:

[Unit] Deskripsi = Dokumentasi Server Apache ZooKeeper = http: // Zookeeperer.Apache.org membutuhkan = jaringan.Target Remote-FS.target setelah = jaringan.Target Remote-FS.Target [Layanan] type = execTart sederhana =/usr/bin/bash/usr/local/kafka/bin/zooKeeper-server-start.sh/usr/local/kafka/config/zookeeperer.properti execstop =/usr/bin/bash/usr/local/kafka/bin/zooKeeper-server-stop.SH restart = on-abnormal [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Selanjutnya, untuk membuat file unit SystemD kafka menggunakan perintah berikut:

vim/etc/systemd/system/kafka.melayani 

Tambahkan konten di bawah ini. Pastikan untuk mengatur yang benar Java_home jalur sesuai java yang diinstal pada sistem Anda.

[Unit] Deskripsi = Dokumentasi Server Apache Kafka = http: // kafka.Apache.org/dokumentasi.html membutuhkan = zooKeeper.Layanan [Layanan] type = Simple Environment = "java_home =/usr/lib/jvm/jre-11-openjdk" execStart =/usr/bin/bash/usr/local/kafka/bin/kafka-server-start-start.sh/usr/local/kafka/config/server.properti execstop =/usr/bin/bash/usr/local/kafka/bin/kafka-server-stop.sh [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Muat Ulang Daemon SystemD untuk menerapkan perubahan.

Systemctl Daemon-reload 

Langkah 4 - Mulai Kafka Server

Kafka membutuhkan zooKeeper jadi pertama -tama, mulailah server zookeeper di sistem Anda. Anda dapat menggunakan skrip yang tersedia dengan kafka untuk memulai instance zookeeper simpul tunggal.

Sudo Systemctl Mulai Zookeeper 

Sekarang mulailah server kafka dan lihat status berjalan:

sudo systemctl start kafka sudo systemctl status kafka 

Semua selesai. Anda telah berhasil memasang kafka di CentOS 8 Anda. Bagian selanjutnya dari tutorial ini akan membantu Anda membuat topik di kluster kafka dan bekerja dengan produsen kafka dan layanan konsumen.

Langkah 5 - Membuat Topik di Apache Kafka

Apache kafka menyediakan beberapa skrip shell untuk mengerjakannya. Pertama, buat topik bernama "testtopic”Dengan satu partisi dengan replika tunggal:

CD/USR/LOCAL/KAFKA BIN/KAFKA-TOPICS.sh --create --bootstrap-server localhost: 9092--replikasi-faktor 1 --partisi 1-Topik Testtopik dibuat Topik testtopic. 

Faktor replikasi menjelaskan berapa banyak salinan data yang akan dibuat. Saat kami berjalan dengan satu contoh, pertahankan nilai ini 1.

Atur opsi partisi sebagai jumlah broker yang Anda ingin data Anda terpecah antara. Saat kami berlari dengan satu broker, pertahankan nilai ini 1.

Anda dapat membuat beberapa topik dengan menjalankan perintah yang sama seperti di atas. Setelah itu, Anda dapat melihat topik yang dibuat di kafka dengan perintah yang berjalan di bawah ini:

BIN/KAFKA-TOPICS.SH - -list --zookeeper localhost: 9092 testtopic kafkaoncentos8 tutorialkafkainstallcentos8 

Atau, alih-alih membuat topik secara manual, Anda juga dapat mengkonfigurasi broker Anda untuk membuat topik secara otomatis ketika topik yang tidak ada diterbitkan.

Langkah 6 - Produsen dan Konsumen Apache Kafka

"Produser" adalah proses yang bertanggung jawab untuk memasukkan data ke dalam kafka kami. Kafka dilengkapi dengan klien baris perintah yang akan mengambil input dari file atau dari input standar dan mengirimkannya sebagai pesan ke kluster kafka. Kafka default mengirimkan setiap baris sebagai pesan terpisah.

Mari kita jalankan produser dan kemudian ketik beberapa pesan ke konsol untuk dikirim ke server.

Bin/Kafka-Console-Produser.SH --BROKER-DISTHOST LOCAL: 9092 --Topic testtopic> Welcome To Kafka> Ini adalah topik pertama saya> 

Sekarang buka terminal baru untuk menjalankan proses konsumen Apache Kafka. Kafka juga menyediakan dan konsumen baris perintah untuk membaca data dari kluster kafka dan menampilkan pesan ke output standar.

BIN/KAFKA-Console-Consumer.sh --bootstrap-server localhost: 9092-Testtopic testopic ---from-from Welcome to Kafka Ini adalah topik pertama saya 

Opsi -dari pembalasan digunakan untuk membaca pesan dari awal topik yang dipilih. Anda dapat melewatkan opsi ini untuk membaca pesan terbaru saja.

Misalnya, jalankan produsen dan konsumen Kafka di terminal terpisah. Cukup ketik beberapa teks di terminal produser itu. itu akan segera terlihat di terminal konsumen. Lihat tangkapan layar di bawah ini dari produsen dan konsumen Kafka dalam bekerja:

Kesimpulan

Anda telah berhasil menginstal dan mengkonfigurasi layanan kafka pada mesin Linux Centos 8.