Cara Menginstal dan Mengkonfigurasi Apache Hadoop pada satu node di Centos 7

Apache Hadoop adalah kerangka kerja open source build untuk penyimpanan data besar dan pemrosesan data di seluruh kelompok komputer. Proyek ini didasarkan pada komponen berikut:

1. Hadoop Common - itu berisi perpustakaan dan utilitas java yang dibutuhkan oleh modul hadoop lainnya.
2. HDFS - Sistem File Terdistribusi Hadoop - Sistem file yang dapat diskalakan berbasis Java didistribusikan di beberapa node.
3. Mapreduce - Kerangka kerja benang untuk pemrosesan data besar paralel.
4. Benang Hadoop: Kerangka kerja untuk manajemen sumber daya cluster.

Instal Hadoop di Centos 7

Artikel ini akan memandu Anda tentang bagaimana Anda dapat menginstal Apache Hadoop pada satu node cluster di Centos 7 (Juga berfungsi untuk RHEL 7 Dan Fedora 23+ versi). Jenis konfigurasi ini juga dirujuk sebagai Hadoop Mode yang didistribusikan semu.

Langkah 1: Pasang Java di Centos 7

1. Sebelum melanjutkan dengan instalasi java, login pertama dengan pengguna root atau pengguna dengan hak istimewa root mengatur nama host mesin Anda dengan perintah berikut.

# HOSTNAMECTL SET-HOSTNAME MASTER 

Setel nama host di Centos 7

Juga, tambahkan catatan baru dalam file host dengan mesin Anda sendiri untuk menunjuk ke alamat IP sistem Anda.

# vi /etc /host 

Tambahkan baris di bawah ini:

192.168.1.41 Master.Hadoop.lan 

Atur file hostname di /etc /hosts file

Ganti nama host di atas dan catatan FQDN dengan pengaturan Anda sendiri.

2. Selanjutnya, buka halaman unduhan Oracle Java dan ambil versi terbaru Java SE Development Kit 8 di sistem Anda dengan bantuan keriting memerintah:

# curl -lo -h "cookie: oraclelicense = accept -securebackup -cookie" "http: // download.peramal.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.RPM " 

Unduh Java SE Development Kit 8

3. Setelah unduhan biner Java selesai, instal paket dengan mengeluarkan perintah di bawah ini:

# RPM -UVH JDK-8U92-LINUX-X64.RPM 

Instal Java di Centos 7

Langkah 2: Instal Hadoop Framework di Centos 7

4. Selanjutnya, buat akun pengguna baru di sistem Anda tanpa kekuatan root yang akan kami gunakan untuk jalur instalasi Hadoop dan lingkungan kerja. Direktori Rumah Akun Baru akan tinggal di /opt/hadoop direktori.

# useradd -d /opt /hadoop hadoop # passwd hadoop 

5. Pada langkah berikutnya, kunjungi halaman Apache Hadoop untuk mendapatkan tautan untuk versi stabil terbaru dan unduh arsip di sistem Anda.

# curl -o http: // apache.javapipe.com/hadoop/common/hadoop-2.7.2/Hadoop-2.7.2.ter.GZ 

Unduh Paket Hadoop

6. Ekstrak Arsip Salin Konten Direktori ke Hadoop Account Home Path. Juga, pastikan Anda mengubah izin file yang disalin sesuai.

# tar xfz hadoop-2.7.2.ter.GZ # CP -RF HADOOP -2.7.2/*/opt/hadoop/ # chown -r hadoop: hadoop/opt/hadoop/ 

Ekstrak-dan atur izin di hadoop

7. Selanjutnya, login dengan Hadoop Pengguna dan Konfigurasikan Hadoop Dan Variabel Lingkungan Java pada sistem Anda dengan mengedit .Bash_profile mengajukan.

# Su - Hadoop $ VI .Bash_profile 

Tambahkan baris berikut di akhir file:

## variabel java env Ekspor java_home =/usr/java/jalur ekspor default = $ path: $ java_home/bin ekspor classpath =.: $ Java_home/jre/lib: $ java_home/lib: $ java_home/lib/alat.stoples ## variabel env hadoop Ekspor Hadoop_home =/opt/hadoop ekspor hadoop_common_home = $ hadoop_home ekspor hadoop_hdfs_home = $ hadoop_home ekspor hadoop_mapred_home = $ hadoop_home hadoop_yarn_home = $ hadoop_home ekspor hadoop = "-".perpustakaan.path = $ hadoop_home/lib/asli "ekspor hadoop_common_lib_native_dir = $ hadoop_home/lib/jalur ekspor asli = $ path: $ hadoop_home/sbin: $ hadoop_home/bin 

Konfigurasikan variabel lingkungan Hadoop dan Java

8. Sekarang, inisialisasi variabel lingkungan dan periksa statusnya dengan mengeluarkan perintah di bawah ini:

$ Sumber .Bash_profile $ echo $ hadoop_home $ echo $ java_home 

Inisialisasi variabel lingkungan Linux

9. Akhirnya, konfigurasikan otentikasi berbasis kunci SSH untuk Hadoop akun dengan menjalankan perintah di bawah ini (ganti nama host atau Fqdn melawan ssh-copy-id Perintah sesuai).

Juga, tinggalkan frasa sandi diajukan kosong untuk secara otomatis masuk melalui SSH.

$ ssh-keygen -t rsa $ ssh-copy-id master.Hadoop.lan 

Konfigurasi Halaman Otentikasi Berbasis Kunci SSH: 1 2 3