Cara Menginstal dan Mengkonfigurasi Manajer Cloudera di CentOS/RHEL 7 - Bagian 3

Di artikel ini, kami menjelaskan proses langkah demi langkah untuk menginstal Manajer Cloudera sesuai praktik industri. Di Bagian 2, kami sudah melalui prasyarat cloudera, pastikan semua server disiapkan dengan sempurna.

Persyaratan

• Praktik Terbaik untuk Menyebarkan Hadoop Server di CentOS/RHEL 7 - Bagian 1
• Menyiapkan Prasyarat Hadoop dan Pengerasan Keamanan - Bagian 2

Di sini kita akan memiliki 5 node cluster di mana 2 master dan 3 pekerja. Saya telah menggunakannya 5 AWS EC2 contoh untuk menunjukkan prosedur pemasangan. Saya telah menamai 5 server seperti di bawah ini.

master1.tecmint.com master2.tecmint.com worker1.tecmint.com worker2.tecmint.com worker3.tecmint.com 

Manajer Cloudera adalah alat administratif dan pemantauan untuk keseluruhan CDH. Kami admin biasanya menyebutnya alat manajemen untuk Cloudera Hadoop. Kami dapat menggunakan, memantau, mengontrol, dan membuat perubahan konfigurasi dengan penggunaan alat ini. Ini sangat penting untuk mengelola seluruh cluster.

Di bawah ini adalah penggunaan penting dari manajer cloudera.

• Menyebarkan dan mengkonfigurasi cluster Hadoop dengan cara otomatis.
• Monitor Kesehatan Cluster
• Konfigurasikan peringatan
• Penyelesaian masalah
• Pelaporan
• Membuat laporan pemanfaatan cluster
• Mengkonfigurasi sumber daya secara dinamis

Langkah 1: Menginstal Server Web Apache di CentOS

Kami akan menggunakan master1 Sebagai server web untuk repositori cloudera. Juga, Cloudera Manager adalah Webui, jadi kita perlu memilikinya Apache terpasang. Ikuti langkah -langkah di bawah ini untuk menginstal server web Apache.

# yum -y instal httpd 

Setelah diinstal httpd, mulai dan aktifkan sehingga akan dimulai dengan boot.

# Systemctl Mulai httpd # Systemctl Aktifkan httpd 

Setelah memulai httpd, pastikan statusnya.

# Systemctl Status httpd 

Check-Apache-Status

Setelah memulai httpd, buka browser di sistem lokal Anda dan tempel alamat IP master1 Di bilah pencarian, Anda harus mendapatkan halaman tes ini untuk memastikan httpd berjalan dengan baik.

Periksa halaman web Apache

Langkah 2: Mengkonfigurasi DNS Lokal untuk Menyelesaikan IP dan HostName

Kita perlu memiliki server DNS atau mengkonfigurasi /etc/host untuk menyelesaikan IP dan hostname. Di sini kami mengkonfigurasi /etc/host, Namun secara real-time, server DNS khusus akan ada untuk lingkungan produksi.

Ikuti langkah -langkah di bawah ini untuk membuat entri untuk semua server Anda /etc/host.

# vi /etc /host 

Ini harus dikonfigurasi di semua server.

13.235.27.144 Master1.tecmint.com master1 13.235.135.170 Master2.tecmint.com master2 15.206.167.94 Pekerja1.tecmint.com pekerja1 13.232.173.158 Pekerja2.tecmint.com Worker2 65.0.182.222 Pekerja3.tecmint.com worker3 

Konfigurasikan DNS lokal

Langkah 3: Mengkonfigurasi SSH Login Tanpa Kata Sandi

Manajer Cloudera sedang diinstal master1 dalam demonstrasi ini. Kita perlu mengkonfigurasi ssh kurang kata sandi dari master1 ke semua node lainnya. Karena Manajer Cloudera Akan menggunakan SSH untuk mengkomunikasikan semua node lain untuk menginstal paket.

Ikuti langkah-langkah di bawah ini untuk mengonfigurasi SSH tanpa kata sandi dari master1 ke semua server yang tersisa. Kami akan memiliki pengguna 'tecmint'Untuk melangkah lebih jauh.

Buat pengguna 'tecmint'Semua 4 server menggunakan perintah useradd seperti yang ditunjukkan.

# useradd -m tecmint 

Untuk memberikan hak istimewa root kepada pengguna 'tecmint', tambahkan baris di bawah ini /etc/sudoers mengajukan. Anda dapat menambahkan baris ini di bawah root sebagai memberi di tangkapan layar.

tecmint all = (all) all 

Tambahkan pengguna ke sudo

Beralih ke pengguna 'tecmint'dan buat kunci ssh di master1 Menggunakan perintah di bawah ini.

# sudo su tecmint $ ssh-keygen 

Sekarang salin kunci yang dibuat untuk semua 4 server dengan menggunakan ssh-copy-id perintah seperti yang ditunjukkan.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email dilindungi] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email dilindungi] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email dilindungi] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email dilindungi] 

Sekarang Anda harus bisa SSH dari master1 untuk tetap semua server tanpa kata sandi seperti yang ditunjukkan.

$ ssh master2 $ ssh pekerja $ ssh pekerja $ ssh pekerja3 

Server login tanpa kata sandi ssh

Langkah 4: Menginstal dan Mengkonfigurasi Manajer Cloudera

Kita bisa menggunakan penjual (Cloudera) Repositori untuk menginstal semua paket menggunakan alat manajemen paket di rhel/centos. Secara real-time, membuat repositori kami sendiri adalah praktik terbaik karena kami mungkin tidak memiliki akses internet di server produksi.

Di sini kami akan menginstal Manajer Cloudera 6.3.1 melepaskan. Karena kita akan menggunakan master1 Sebagai server repo, kami sedang mengunduh paket di jalur yang disebutkan di bawah ini.

Buat direktori yang disebutkan di bawah ini master1 server.

$ sudo mkdir -p/var/www/html/cloudera -repos/cm6 

Kita dapat menggunakan alat wget untuk mengunduh paket melalui http. Jadi, instal wget Menggunakan perintah di bawah ini.

$ sudo yum -y menginstal wget 

Selanjutnya, unduh file tar manajer cloudera menggunakan perintah wget berikut.

$ wget https: // arsip.Cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.ter.GZ 

Ekstrak file tar ke /var/www/html/cloudera-repos/cm6, Sudah kami buat master1 sebagai server web dengan menginstal http Dan kami telah menguji di browser.

$ sudo tar xvfz cm6.3.1-redhat7.ter.GZ -C/var/www/html/cloudera-repos/cm6-strip-komponen = 1 

Sekarang, verifikasi bahwa semua file rpm cloudera ada /var/www/html/cloudera-repos/cm6/rpms/x86_64 direktori.

$ cd/var/www/html/cloudera-repos/cm6 $ ll 

Daftar file cloudera

Membuat /etc/yum.repo.d/cloudera-manager.repo File di semua server di host cluster dengan konten berikut, di sini master1 (65.0.101.148) adalah server web.

[cloudera-repo] name = cloudera-manager baseUrl = http: /// cloudera-repos/cm6/diaktifkan = 1 gpgcheck = 0 

Sekarang repositori telah ditambahkan, jalankan perintah di bawah ini untuk melihat repositori yang diaktifkan.

$ yum repolist 

Daftar repositori cloudera

Jalankan perintah di bawah ini untuk melihat semua paket terkait cloudera yang tersedia di repositori.

Daftar $ yum tersedia | grep cloudera* 

Daftar paket cloudera

Instal Cloudera-Manager-Server, Cloudera-Manager-Agent, Cloudera-Manager-Daemons Cloudera-Manager-Server-DB-2.

$ sudo yum menginstal cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server-server-manager-server-db-2 

Pasang cloudera di centos

Jalankan perintah di bawah ini untuk melihat semua paket cloudera yang diinstal.

Daftar $ yum diinstal | grep cloudera* 

Daftar paket cloudera terpasang

Jalankan perintah di bawah ini untuk memulai Cloudera-SCM-Server-DB yang merupakan database yang mendasari untuk disimpan Manajer Cloudera dan metadata layanan lainnya.

Secara default, Cloudera akan datang dengan Postgre-sql yang tertanam di Manajer Cloudera. Kami memasang yang tertanam, dalam database eksternal real-time yang dapat digunakan. Itu bisa Peramal, Mysql, atau PostgreSQL.

$ sudo systemctl mulai cloudera-scm-server-db 

Jalankan perintah di bawah ini untuk memeriksa status database.

$ sudo Systemctl cloudera-scm-server-db 

Periksa status basis data cloudera

Konfigurasikan db.properti Untuk Manajer Cloudera server.

$ vi/etc/cloudera-scm-server/db.properti 

Konfigurasikan nilai di bawah ini Tertanam untuk membuat Manajer Cloudera menggunakan Database tertanam.

com.Cloudera.CMF.db.setuptype = tertanam 

Konfigurasikan Properti Basis Data Cloudera

Jalankan perintah di bawah ini untuk memulai server manajer cloudera.

$ sudo systemctl mulai cloudera-scm-server 

Jalankan perintah di bawah ini untuk memeriksa status Manajer Cloudera server.

$ sudo Systemctl status cloudera-scm-server 

Periksa status manajer cloudera

Jalankan perintah di bawah ini untuk memulai dan periksa status Manajer Cloudera agen.

$ sudo systemctl mulai cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 

Periksa status agen manajer cloudera

Sekali Server Manajer Cloudera Berhasil dan berjalan dengan baik, Anda dapat melihat webui (halaman login) di browser menggunakan alamat IP dan nomor port 7180 yang merupakan nomor port dari Manajer Cloudera.

https: // 65.0.101.148: 7180 

Login Manajer Cloudera

Ringkasan

Di artikel ini, kami telah melihat proses langkah demi langkah untuk menginstal Manajer Cloudera pada Centos 7. Kami akan melihat CDH dan instalasi layanan lainnya di artikel berikutnya.