Cara Menginstal Apache Kafka di Ubuntu 20.04

Apache Kafka adalah platform streaming acara open-source, terdistribusi yang dikembangkan oleh Apache Software Foundation. Ini ditulis dalam bahasa pemrograman Scala dan Java. Anda dapat menginstal kafka di platform apa pun yang mendukung Java.

Tutorial ini menggambarkan Anda tutorial langkah demi langkah untuk menginstal Apache Kafka di Ubuntu 20.04 LTS Linux System. Anda juga akan belajar membuat topik di Kafka dan menjalankan produsen dan node konsumen.

Prasyarat

Anda harus memiliki akses akun istimewa sudo ke Ubuntu 20.04 Sistem Linux.

Langkah 1 - Menginstal Java

Apache Kafka dapat dijalankan di semua platform yang didukung oleh Java. Untuk mengatur kafka pada sistem ubuntu, Anda perlu menginstal java terlebih dahulu. Seperti yang kita ketahui, Oracle Java sekarang tersedia secara komersial, jadi kami menggunakan versi open-source openjdk.

Jalankan perintah di bawah ini untuk menginstal OpenJDK di sistem Anda dari PPA resmi.

sudo apt update sudo apt install default-jdk 

Verifikasi versi java aktif saat ini.

java --version  Versi OpenJDK "11.0.9.1 "2020-11-04 Lingkungan Runtime OpenJDK (Build 11.0.9.1+1-ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (Build 11.0.9.1+1-ubuntu-0ubuntu1.20.04, mode campuran, berbagi) 

Langkah 2 - Unduh Apache Kafka terbaru

Unduh file biner Apache Kafka dari situs web unduhan resmi. Anda juga dapat memilih cermin terdekat untuk diunduh.

wget https: // dlcdn.Apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz  

Kemudian ekstrak file arsip

TAR XZF KAFKA_2.13-3.2.0.tgz  sudo mv kafka_2.13-3.2.0/usr/lokal/kafka  

Langkah 3 - Membuat File Unit Systemd

Sekarang, Anda perlu membuat file unit SystemD untuk layanan ZooKeeper dan Kafka. Yang akan membantu Anda memulai/menghentikan layanan kafka dengan cara yang mudah.

Pertama, buat file unit SystemD untuk Zookeeper:

vim/etc/systemd/system/zookeeperer.melayani 

Dan tambahkan konten berikut:

[Unit] Deskripsi = Dokumentasi Server Apache ZooKeeper = http: // Zookeeperer.Apache.org membutuhkan = jaringan.Target Remote-FS.target setelah = jaringan.Target Remote-FS.Target [layanan] type = Simple execStart =/usr/local/kafka/bin/zooKeeper-server-start.sh/usr/local/kafka/config/zookeeperer.properti execstop =/usr/local/kafka/bin/zookeeper-server-stop.SH restart = on-abnormal [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Selanjutnya, untuk membuat file unit SystemD untuk layanan Kafka:

vim/etc/systemd/system/kafka.melayani 

Tambahkan konten di bawah ini. Pastikan untuk mengatur yang benar Java_home jalur sesuai java yang diinstal pada sistem Anda.

[Unit] Deskripsi = Dokumentasi Server Apache Kafka = http: // kafka.Apache.org/dokumentasi.html membutuhkan = zooKeeper.Layanan [Layanan] Type = Simple Environment = "java_home =/usr/lib/jvm/java-1.11.0-OPENJDK-AMD64 "ExecStart =/usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/server.properti execstop =/usr/local/kafka/bin/kafka-server-stop.sh [install] wantedby = multi-pengguna.target 

Simpan file dan tutup.

Muat Ulang Daemon SystemD untuk menerapkan perubahan baru.

Systemctl Daemon-reload 

Langkah 4 - Mulai Layanan Kafka dan Zookeeper

Pertama, Anda harus memulai layanan Zookeeper dan kemudian memulai Kafka. Gunakan perintah SystemCTL untuk memulai instance ZooKeeper simpul tunggal.

Sudo Systemctl Mulai Zookeeper 

Sekarang mulailah server kafka dan lihat status berjalan:

sudo systemctl start kafka sudo systemctl status kafka 

Semua selesai. Instalasi Kafka telah berhasil diselesaikan. Bagian dari tutorial ini akan membantu Anda bekerja dengan server Kafka.

Langkah 5 - Buat topik di kafka

Kafka menyediakan beberapa skrip shell yang sudah dibangun sebelumnya untuk dikerjakan. Pertama, buat topik bernama "Testtopic" dengan satu partisi dengan satu replika:

CD/USR/LOCAL/KAFKA BIN/KAFKA-TOPICS.sh --create --bootstrap-server localhost: 9092--replikasi-faktor 1 --partisi 1-Topik Testtopik dibuat Topik testtopic. 

Faktor replikasi menjelaskan berapa banyak salinan data yang akan dibuat. Saat kami berjalan dengan satu contoh, pertahankan nilai ini 1.

Tetapkan opsi partisi sebagai jumlah broker yang Anda ingin data Anda terpecah antara. Saat kami berlari dengan satu broker, pertahankan nilai ini 1.

Anda dapat membuat beberapa topik dengan menjalankan perintah yang sama seperti di atas. Setelah itu, Anda dapat melihat topik yang dibuat di kafka dengan perintah yang berjalan di bawah ini:

BIN/KAFKA-TOPICS.SH--list --bootstrap-server localhost: 9092 [output] testtopic 

Atau, alih-alih membuat topik secara manual, Anda juga dapat mengkonfigurasi broker Anda untuk membuat topik secara otomatis ketika topik yang tidak ada diterbitkan.

Langkah 6 - Kirim dan terima pesan di kafka

"Produser" adalah proses yang bertanggung jawab untuk memasukkan data ke dalam kafka kami. Kafka dilengkapi dengan klien baris perintah yang akan mengambil input dari file atau dari input standar dan mengirimkannya sebagai pesan ke kluster kafka. Kafka default mengirimkan setiap baris sebagai pesan terpisah.

Mari kita jalankan produser dan kemudian ketik beberapa pesan ke konsol untuk dikirim ke server.

Bin/Kafka-Console-Produser.SH --BROKER-DISTHOST LOCAL: 9092 --Topic testtopic> Welcome To Kafka> Ini adalah topik pertama saya> 

Anda dapat keluar dari perintah ini atau menjaga terminal ini tetap berjalan untuk pengujian lebih lanjut. Sekarang buka terminal baru untuk proses konsumen Kafka pada langkah berikutnya.

Langkah 7 - Menggunakan konsumen Kafka

Kafka juga memiliki konsumen baris perintah untuk membaca data dari kluster kafka dan menampilkan pesan ke output standar.

BIN/KAFKA-Console-Consumer.sh --bootstrap-server localhost: 9092-Testtopic testopic ---from-from Welcome to Kafka Ini adalah topik pertama saya 

Sekarang, jika Anda masih menjalankan produser kafka (langkah #6) di terminal lain. Cukup ketik beberapa teks di terminal produser itu. itu akan segera terlihat di terminal konsumen. Lihat tangkapan layar di bawah ini dari produsen dan konsumen Kafka dalam bekerja:

Kesimpulan

Tutorial ini membantu Anda menginstal dan mengonfigurasi layanan Apache Kafka pada sistem Ubuntu. Selain itu, Anda belajar membuat topik baru di server kafka dan menjalankan produksi sampel dan proses konsumen dengan Apache kafka.