Cara menginstal CDH dan mengonfigurasi penempatan layanan di CentOS/RHEL 7 - Bagian 4

Dalam artikel sebelumnya, kami telah menjelaskan pemasangan Cloudera Manager, dalam artikel ini, Anda akan belajar cara menginstal dan mengonfigurasi CDH (Hadoop distribusi cloudera) di dalam Rhel/centos 7.

Saat memasang parsel CDH, kami harus memastikan Manajer Cloudera Dan CDH kesesuaian. Versi cloudera memiliki 3 bagian - ... Cloudera Manager Major dan Minor Versi harus sama dengan versi CDH Major dan Minor.

Misalnya, kami menggunakan Manajer Cloudera 6.3.1 Dan CDH 6.3.2. Di Sini 6 adalah besar dan 3 adalah versi minor. Mayor dan Minor harus sama untuk menghindari masalah kompatibilitas.

Persyaratan

• Praktik Terbaik untuk Menyebarkan Hadoop Server di CentOS/RHEL 7 - Bagian 1
• Menyiapkan Prasyarat Hadoop dan Pengerasan Keamanan - Bagian 2
• Cara Menginstal dan Mengkonfigurasi Manajer Cloudera di CentOS/RHEL 7 - Bagian 3

Kami akan mengambil 2 node di bawah ini untuk menginstal CDH. Kami sudah menginstal manajer cloudera di master1, Juga kami gunakan master1 Sebagai server repo.

master1.tecmint.com worker1.tecmint.com 

Langkah 1: Unduh Paket CDH di Master Server

1. Pertama, terhubung ke master1 server dan unduh Paket CDH file di /var/www/html/cloudera-repos/cdh direktori . Kami harus mengunduh 3 file yang disebutkan di bawah ini yang harus kompatibel dengan Rhel/centos 7.

CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.Parcel CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.paket.SHA1 Manifes.json 

2. Sebelum mengunduh file -file ini, pastikan untuk membuat file CDH direktori di bawah /var/www/html/cloudera-repos/ Lokasi.

$ cd/var/www/html/cloudera-repos/$ sudo mkdir cdh $ cd cdh 

3. Selanjutnya, unduh 3 file yang disebutkan di atas menggunakan perintah wget berikut.

$ sudo wget https: // arsip.Cloudera.com/cdh6/6.3.2/parsel/CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.parsel $ sudo wget https: // arsip.Cloudera.com/cdh6/6.3.2/parsel/CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.paket.sha1 $ sudo wget https: // arsip.Cloudera.com/cdh6/6.3.2/parsel/manifes.json 

Langkah 2: Setup Cloudera Manager Repo pada klien pekerja

4. Sekarang, terhubung ke pekerja server dan salin file repo (Cloudera-Manager.repo) dari server repo (master1) ke semua server pekerja yang tersisa. File repo ini memastikan server bahwa semua parsel dan RPM yang diperlukan akan diunduh dari server repo saat menginstal.

kucing>/etc/yum.repo.d/cloudera-manager.repo < 
5. Setelah repo ditambahkan, daftarkan repositori yang diaktifkan untuk memastikan Cloudera-Manager Repo diaktifkan.
 
$ yum repolist 
  Periksa repo yang diaktifkan 
Langkah 3: Pasang Daemon Manajer Cloudera dan Agen di Server Pekerja
 
6. Sekarang, kita perlu menginstal Cloudera-Manager-Daemons Dan Cloudera-Manager-Agent di semua server yang tersisa.
 
$ sudo yum menginstal cloudera-manager-daemons cloudera-manager-agent 
  Pasang Daemon dan Agen Manajer Cloudera 
7. Selanjutnya, Anda perlu mengkonfigurasi Manajer Cloudera agen untuk melaporkan Manajer Cloudera server.
 
$ sudo vi/etc/cloudera-scm-agent/config.ini 
 
Ganti localhost dengan Manajer Cloudera Alamat IP Server.
  Konfigurasikan Cloudera Manager 
8. Awal Manajer Cloudera Agen dan verifikasi statusnya.
 
$ sudo systemctl mulai cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 
  Periksa status manajer cloudera 
Langkah 4: Instal dan Siapkan CDH
 
Kita punya CDH Paket di master1 - server repo. Pastikan semua server memiliki file repo manajer cloudera di /etc/yum.repo.D/ Jika Anda mengikuti instalasi otomatis menggunakan Manajer Cloudera.
 
9. Masuk ke Manajer Cloudera menggunakan URL di bawah ini di port 7180 dan gunakan nama pengguna dan kata sandi default Manajer Cloudera.
 
http: // 104.211.95.96: 7180/CMF/Login Nama Pengguna: Admin Kata Sandi: Admin 
  Login Manajer Cloudera 
10. Setelah Anda masuk, Anda akan disambut dengan halaman selamat datang. Di sini Anda dapat menemukan catatan rilis, fitur baru dari Cloudera Manager.
  Cloudera Manager Selamat datang 
11. Terima lisensi dan lanjutkan.
  Lisensi Manajer Cloudera 
12. Pilih edisi. Versi percobaan telah dipilih secara default, kita dapat melanjutkannya.
  Edisi Manajer Cloudera 
13. Sekarang, ikuti langkah instalasi cluster. Lanjutkan Halaman Selamat Datang.
  Instalasi Cluster Manajer Cloudera 
14. Sebutkan cluster dan lanjutkan, kami menyebutkan sebagai "tecmint". Ada 2 jenis cluster yang bisa Anda definisikan. Kami melanjutkan dengan cluster biasa.
 
 
Cluster biasa: Akan terdiri dari node penyimpanan, node komputasi, dan layanan lain yang diperlukan.
 
Hitung Cluster: Hanya akan terdiri dari node komputasi. Penyimpanan eksternal dapat digunakan untuk menyimpan data.
 
  Nama Cluster Manajer Cloudera 
15. Kami telah menginstal Agen manajer cloudera Di semua server. Anda dapat menemukan server -server itu di “Host yang dikelola saat ini". Untuk instalasi otomatis, Anda harus memasukkan FQDN atau IP dari server di “Host baruOpsi dan pencarian. Cloudera Manager akan secara otomatis mendeteksi host tempat kami perlu menginstal CDH.
 
Di sini, klik “Host yang dikelola saat ini”, Pilih semua host dengan memilih 'Nama host'dan lanjutkan.
  Host yang dikelola saat ini 
16. Pilih Repositori - Menggunakan Paket adalah cara yang disarankan. Klik 'Lebih banyak pilihan'Untuk mengonfigurasi repositori.
  Pilih Repositori 
17. Masukkan URL repositori lokal seperti yang disebutkan di bawah ini. Hapus semua repositori publik yang tersisa yang menunjuk web (Repositori cloudera).
  Pengaturan Repositori Parcel 
Ini adalah CDH URL repositori lokal yang kami miliki master1.
 
http: // 104.211.95.96/Cloudera-Repos/CDH/ 
  Repo cloudera 
18. Setelah URL repositori dimasukkan, halaman ini hanya akan menampilkan parsel yang tersedia. Lanjutkan langkah ini.
  Pilih Pengaturan Repositori 
19. Sekarang parsel sedang diunduh, didistribusikan, dibongkar, dan diaktifkan di semua server yang tersedia.
  Instal Paket 
20. Sekali Paket CDH diaktifkan, periksa Gugus. Langkah ini akan melakukan pemeriksaan kesehatan dari cluster. Di sini kami melewatkan dan melanjutkan.
  Periksa cluster 
Langkah 5: Konfigurasi Cluster
 
21. Di sini kita perlu memilih Jasa untuk diinstal Gugus. Beberapa kombinasi yang dikemas akan tersedia secara default, kami akan pergi Layanan Kustom.
  Konfigurasi Cluster 
22. Di dalam Layanan Kustom, kami hanya menginstal Komponen inti (HDFS Dan BENANG) untuk tujuan demo ini.
  Instal Layanan 
23. Tetapkan peran ke server. Kami dapat menyesuaikan sesuai dengan persyaratan kami. Temukan grafik di bawah ini yang menjelaskan yang disarankan Distribusi peran Untuk gugus kecil dasar dengan 5 hingga 20 node dengan ketersediaan tinggi.
  Tetapkan peran  Distribusi peran yang disarankan 
24. Pilih Jenis Database, Nama Host, Nama DB, Nama Pengguna, dan Kata Sandi. Karena kami menggunakan PostgreSQL tertanam, itu akan dipilih secara default. Uji koneksi, itu harus berhasil.
  Pengaturan Basis Data 
25. Halaman ini akan menampilkan parameter konfigurasi default HDFS Dan Benang, termasuk direktori data. Tinjau semua detail konfigurasi dan Anda dapat melakukan perubahan jika diperlukan. Kemudian lanjutkan ini.
  Tinjau parameter konfigurasi 
26. Halaman ini akan menampilkan detail 'Lari pertama' memerintah. Anda dapat memperluasnya untuk melihat detail perintah berjalan. Jika ada jaringan atau masalah izin di cluster, langkah ini akan gagal. Biasanya, langkah ini memutuskan pemasangan yang mulus dari bangunan cluster.
  Perintah Jalankan Pertama  Menjalankan perintah 
27. Setelah langkah di atas selesai, klik 'Menyelesaikan'Untuk menyelesaikan instalasi. Ini adalah dasbor manajer cloudera setelah menginstal cdh.
 
http: // 104.211.95.96: 7180/cmf/rumah 
  Dasbor Manajer Cloudera 
Kesimpulan
 
Kami telah menyelesaikan Manajer Cloudera Dan CDH Instalasi berhasil. Dalam Dasbor Manajer Cloudera, Anda dapat menemukan set grafik yang telah ditentukan sebelumnya di mana Anda dapat memantau cpu cluster, disk IO dll. Kami dapat mengelola seluruh cluster menggunakan ini Manajer Cloudera. Kami akan melihat semua operasi administratif dalam artikel yang akan datang.