Cara Menginstal Apache Kafka di Ubuntu 22.04

Apache Kafka adalah platform streaming acara open-source, terdistribusi yang dikembangkan oleh Apache Software Foundation. Ini ditulis dalam bahasa pemrograman Scala dan Java. Anda dapat menginstal kafka di platform apa pun yang mendukung bahasa pemrograman Java.

Tutorial ini memberi Anda petunjuk langkah demi langkah untuk menginstal Apache Kafka di Ubuntu 22.04 LTS Linux System. Anda juga akan belajar membuat topik di Kafka dan menjalankan produsen dan node konsumen.

Prasyarat

Anda harus memiliki akses akun istimewa sudo ke Ubuntu 22.04 Sistem Linux.

Langkah 1 - Menginstal Java

Kami dapat menjalankan server Apache kafka pada sistem yang mendukung java. Jadi pastikan, Anda sudah menginstal Java di sistem Ubuntu Anda.

Gunakan perintah berikut untuk menginstal OpenJDK pada sistem Ubuntu Anda dari repositori resmi.

pembaruan apt sudo  sudo apt instal default-jdk  

Verifikasi versi java aktif saat ini.

java --version  

Output: Versi OpenJDK "11.0.15 "2022-04-19 Lingkungan Runtime OpenJDK (Build 11.0.15+10-ubuntu-0ubuntu0.22.04.1) OpenJDK 64-Bit Server VM (Build 11.0.15+10-ubuntu-0ubuntu0.22.04.1, mode campuran, berbagi) 

Langkah 2 - Unduh Apache Kafka terbaru

Anda dapat mengunduh file biner Apache Kafka terbaru dari halaman unduhan resminya. Alternativaly Anda dapat mengunduh kafka 3.2.0 dengan perintah di bawah ini.

wget https: // dlcdn.Apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz  

Kemudian ekstrak file arsip yang diunduh dan letakkan di bawah /usr/lokal/kafka direktori.

TAR XZF KAFKA_2.13-3.2.0.tgz  sudo mv kafka_2.13-3.2.0/usr/lokal/kafka  

Langkah 3 - Buat skrip startup SystemD

Sekarang, buat file unit SystemD untuk layanan ZooKeeper dan Kafka. Itu akan membantu Anda memulai/menghentikan layanan kafka dengan cara yang mudah.

Pertama, buat file unit SystemD untuk Zookeeper:

sudo nano/etc/systemd/system/zookeeperer.melayani  

Dan tambahkan konten berikut:

[Unit] Deskripsi = Dokumentasi Server Apache ZooKeeper = http: // Zookeeperer.Apache.org membutuhkan = jaringan.Target Remote-FS.target setelah = jaringan.Target Remote-FS.Target [layanan] type = Simple execStart =/usr/local/kafka/bin/zooKeeper-server-start.sh/usr/local/kafka/config/zookeeperer.properti execstop =/usr/local/kafka/bin/zookeeper-server-stop.SH restart = on-abnormal [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Selanjutnya, buat file unit SystemD untuk layanan Kafka:

sudo nano/etc/systemd/system/kafka.melayani  

Tambahkan konten di bawah ini. Pastikan untuk mengatur yang benar Java_home jalur sesuai java yang diinstal pada sistem Anda.

[Unit] Deskripsi = Dokumentasi Server Apache Kafka = http: // kafka.Apache.org/dokumentasi.html membutuhkan = zooKeeper.Layanan [Layanan] Type = Simple Environment = "java_home =/usr/lib/jvm/java-11-openjdk-amd64" execStart =/usr/local/kafka/bin/kafka-server-server.sh/usr/local/kafka/config/server.properti execstop =/usr/local/kafka/bin/kafka-server-stop.sh [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Muat Ulang Daemon SystemD untuk menerapkan perubahan baru.

Sudo Systemctl Daemon-Reload  

Ini akan memuat ulang semua file SystemD di lingkungan sistem.

Langkah 4 - Mulai Layanan ZooKeeper dan Kafka

Mari kita mulai kedua layanan satu per satu. Pertama, Anda harus memulai layanan Zookeeper dan kemudian memulai Kafka. Gunakan perintah SystemCTL untuk memulai instance ZooKeeper simpul tunggal.

Sudo Systemctl Mulai Zookeeper  sudo systemctl mulai kafka  

Verifikasi kedua status Layanan:

Sudo Systemctl Status Zookeeperer  Sudo Systemctl Status Kafka  

Itu dia. Anda telah berhasil menginstal server Apache Kafka di Ubuntu 22.04 Sistem. Selanjutnya, kami akan membuat topik di server kafka.

Langkah 5 - Buat topik di kafka

Kafka menyediakan beberapa skrip shell pra-dibangun untuk mengerjakannya. Pertama, buat topik bernama "Testtopic" dengan satu partisi dengan replika tunggal:

CD/USR/LOCAL/KAFKA  BIN/KAFKA-TOPICS.sh --create --bootstrap-server localhost: 9092--replikasi-faktor 1 --partisi 1-Testtopik Topik  

Output dibuat topik testtopic. 

Di Sini:

• Menggunakan --membuat opsi untuk membuat topik baru
• Itu --faktor replikasi menggambarkan berapa banyak salinan data yang akan dibuat. Saat kami berjalan dengan satu contoh, pertahankan nilai ini 1.
• Mengatur --partisi Opsi sebagai jumlah broker yang Anda ingin data Anda terpecah. Saat kami berlari dengan satu broker, pertahankan nilai ini 1.
• Itu --tema Tentukan nama topik tersebut

Anda dapat membuat beberapa topik dengan menjalankan perintah yang sama seperti di atas. Setelah itu, Anda dapat melihat topik yang dibuat di kafka dengan perintah yang berjalan di bawah ini:

BIN/KAFKA-TOPICS.sh-list --bootstrap-server localhost: 9092  

Output terlihat seperti tangkapan layar di bawah ini:

Atau, alih-alih membuat topik secara manual, Anda juga dapat mengkonfigurasi broker Anda untuk membuat topik secara otomatis ketika topik yang tidak ada diterbitkan.

Langkah 6 - Kirim dan terima pesan di kafka

"Produser" adalah proses yang bertanggung jawab untuk memasukkan data ke dalam kafka kami. Kafka dilengkapi dengan klien baris perintah yang akan mengambil input dari file atau dari input standar dan mengirimkannya sebagai pesan ke kluster kafka. Kafka default mengirimkan setiap baris sebagai pesan terpisah.

Mari kita jalankan produser dan kemudian ketik beberapa pesan ke konsol untuk dikirim ke server.

Bin/Kafka-Console-Produser.SH --MBROKER-DISTHOST LOCAL: 9092-Testtopik Topik  > Selamat Datang di Kafka> Ini adalah topik pertama saya> 

Anda dapat keluar dari perintah ini atau menjaga terminal ini tetap berjalan untuk pengujian lebih lanjut. Sekarang buka terminal baru untuk proses konsumen Kafka pada langkah berikutnya.

Kafka juga memiliki konsumen baris perintah untuk membaca data dari kluster kafka dan menampilkan pesan ke output standar.

BIN/KAFKA-Console-Consumer.SH --Bootstrap-Server Localhost: 9092-Testtopic Testopik ---From-Beginning  Selamat datang di kafka ini adalah topik pertama saya 

Sekarang, jika Anda masih menjalankan produser kafka di terminal lain. Cukup ketik beberapa teks di terminal produser itu. itu akan segera terlihat di terminal konsumen. Lihat tangkapan layar di bawah ini dari produsen dan konsumen Kafka dalam bekerja:

Kesimpulan

Tutorial ini membantu Anda menginstal dan mengonfigurasi server Apache Kafka di Ubuntu 22.04 Sistem Linux. Selain itu, Anda belajar membuat topik baru di server kafka dan menjalankan produksi sampel dan proses konsumen dengan Apache kafka.