Praktik Terbaik untuk Menyebarkan Hadoop Server di CentOS/RHEL 7 - Bagian 1

Dalam serangkaian artikel ini, kita akan membahas keseluruhan Cloudera Hadoop Cluster Building membangun dengan Penjual Dan Industri Praktik terbaik yang direkomendasikan.

Bagian 1: Praktik terbaik untuk menggunakan server Hadoop di CentOS/RHEL 7 Bagian 2: Menyiapkan prasyarat Hadoop dan pengerasan keamanan Bagian 3: Cara Menginstal dan Mengkonfigurasi Manajer Cloudera di CentOS/RHEL 7 Bagian 4: Cara menginstal CDH dan mengonfigurasi penempatan layanan di CentOS/RHEL 7 Bagian 5: Cara mengatur ketersediaan tinggi untuk namenode Bagian 6: Cara mengatur ketersediaan tinggi untuk manajer sumber daya Bagian 7: Cara menginstal dan mengonfigurasi sarang dengan ketersediaan tinggi Bagian 8: Cara Menginstal dan Mengkonfigurasi Sentry (Alat Otorisasi) Bagian 9: Cara Menginstal Kerberos (Kerberising the Cluster) untuk Hadoop Authentication Bagian 10: Cara menyetel cluster (tuning benang) di centos/rhel 7

Os instalasi dan melakukan Os Prasyarat level adalah langkah pertama untuk membangun a Hadoop Cluster. Hadoop dapat berjalan pada berbagai rasa platform Linux: Centos, Topi merah, Ubuntu, Debian, Suse dll., Dalam produksi real-time, sebagian besar Cluster Hadoop dibangun di atas Rhel/centos, Kami akan menggunakan Centos 7 Untuk demonstrasi dalam rangkaian tutorial ini.

Dalam suatu organisasi, instalasi OS dapat dilakukan menggunakan Kickstart. Jika itu adalah cluster node 3 hingga 4, instalasi manual dimungkinkan tetapi jika kita membangun cluster besar dengan lebih dari 10 node, itu membosankan untuk menginstal OS satu per satu. Dalam skenario ini, metode kickstart masuk ke dalam gambar, kita dapat melanjutkan dengan instalasi massa menggunakan Kickstart.

Mencapai kinerja yang baik dari a Lingkungan Hadoop tergantung pada penyediaan perangkat keras & perangkat lunak yang benar. Jadi, membangun produksi Hadoop Cluster melibatkan banyak pertimbangan tentang perangkat keras dan perangkat lunak.

Dalam artikel ini, kami akan melalui berbagai tolok ukur tentang instalasi OS dan beberapa praktik terbaik untuk digunakan Server kluster cloudera cloop pada Centos/rhel 7.

Pertimbangan penting dan praktik terbaik untuk menggunakan server Hadoop

Berikut ini adalah praktik terbaik untuk menyiapkan penyebaran Server kluster cloudera cloop pada Centos/rhel 7.

• Server Hadoop tidak memerlukan server standar perusahaan untuk membangun cluster, itu membutuhkan perangkat keras komoditas.
• Di cluster produksi, memiliki 8 hingga 12 disk data direkomendasikan. Menurut sifat beban kerja, kita perlu memutuskan ini. Jika cluster untuk aplikasi komputasi intensif, memiliki 4 hingga 6 drive adalah praktik terbaik untuk menghindari masalah I/O.
• Drive data harus dipartisi secara individual, misalnya - mulai dari /data01 ke /data10.
• Konfigurasi RAID tidak disarankan untuk node pekerja, karena Hadoop sendiri memberikan toleransi kesalahan pada data dengan mereplikasi blok menjadi 3 secara default. Jadi Jbod adalah yang terbaik untuk node pekerja.
• Untuk server master, RAID 1 adalah praktik terbaik.
• Sistem file default di Centos/rhel 7.X adalah Xfs. Hadoop mendukung XFS, Ext3, dan Ext4. Sistem file yang disarankan adalah ext3 karena diuji untuk kinerja yang baik.
• Semua server harus memiliki versi OS yang sama, rilis kecil yang sama.
• Ini adalah praktik terbaik untuk memiliki perangkat keras yang homogen (semua node pekerja harus memiliki karakteristik perangkat keras yang sama (RAM, Disk Space & Core dll).
• Menurut beban kerja cluster (beban kerja seimbang, komputasi intensif, intensif I/O dan ukuran, perencanaan sumber daya (RAM, CPU) per server akan menjadi berbeda.

Temukan contoh di bawah ini untuk partisi disk dari server penyimpanan 24TB.

Partisi disk

Menginstal CentOS 7 untuk penyebaran server Hadoop

Hal -hal yang perlu Anda ketahui sebelum menginstal Centos 7 server untuk Hadoop Server.

• Instalasi minimal sudah cukup untuk Server Hadoop (node pekerja), dalam beberapa kasus, GUI hanya dapat diinstal untuk server master atau server manajemen di mana kami dapat menggunakan browser untuk Web UI alat manajemen.
• Mengkonfigurasi jaringan, nama host, dan pengaturan terkait OS lainnya dapat dilakukan setelah instalasi OS.
• Secara real -time, vendor server akan memiliki konsol mereka sendiri untuk berinteraksi dan mengelola server, misalnya - server Dell memiliki IDRAC yang merupakan perangkat, tertanam dengan server. Menggunakan antarmuka IDRAC itu, kami dapat menginstal OS dengan memiliki gambar OS di sistem lokal kami.

Di artikel ini, kami telah menginstal OS (Centos 7) di mesin virtual vmware. Di sini, kami tidak akan memiliki banyak disk untuk melakukan partisi. Centos mirip dengan RHEL (fungsionalitas yang sama), jadi kita akan melihat langkah -langkah untuk menginstal Centos.

1. Mulailah dengan mengunduh Centos 7.X ISO Image Dalam sistem Windows lokal Anda dan pilih saat mem -boot mesin virtual. Pilih 'Pasang Centos 7' seperti yang ditunjukkan.

Instal Centos 7 Boot Menu

2. Pilih Bahasa, default akan menjadi Bahasa inggris, dan klik melanjutkan.

Pilih bahasa Centos 7

3. Pemilihan perangkat lunak - Pilih 'Instalasi minimal'Dan klik'Selesai'.

Pemilihan Perangkat Lunak Centos Centos 7 Instalasi Minimal

4. Mengatur kata sandi root karena itu akan meminta kami untuk mengatur.

Atur kata sandi root

5. Tujuan instalasi - Ini adalah langkah penting untuk berhati -hati. Kita perlu memilih disk di mana OS harus diinstal, disk khusus harus dipilih untuk OS. Klik 'Tujuan instalasi'Dan pilih disk, dalam beberapa disk real-time akan ada di sana, kita perlu memilih, lebih disukai'SDA'.

Pilih tujuan instalasi Pilih Disk untuk Instalasi CentOS

6. Opsi penyimpanan lainnya - Pilih opsi kedua (saya akan mengonfigurasi partisi) untuk mengonfigurasi partisi terkait OS seperti /var, /var/log, /rumah, /tmp, /memilih, /menukar.

Partisi Centos Manual

7. Setelah selesai, mulailah instalasi.

Mulailah instalasi CentOS Instalasi Centos 7

8. Setelah instalasi selesai, reboot server.

Centos 7 Instalasi Lengkap

9. Masuk ke server dan atur nama host.

# status hostnamectl # hostnamectl set-hostname tecmint # status hostnamectl 

Tetapkan nama host di Centos

Ringkasan

Dalam artikel ini, kami telah melalui langkah -langkah instalasi OS dan praktik terbaik untuk partisi sistem file. Ini semua adalah pedoman umum, sesuai dengan sifat beban kerja, kita mungkin perlu berkonsentrasi pada lebih banyak nuansa untuk mencapai kinerja terbaik dari cluster. Perencanaan cluster adalah seni untuk Hadoop administrator. Kami akan menyelam mendalam ke prasyarat tingkat OS dan pengerasan keamanan di artikel berikutnya.