Cara Mengatur Hadoop 2.6.5 (kluster simpul tunggal) di Ubuntu, Centos dan Fedora

Apache Hadoop 2.6.5 Perbaikan nyata dari stabil 2 sebelumnya.X.Y Rilis. Versi ini memiliki banyak peningkatan HDF dan MapReduce. Panduan Cara ini akan membantu Anda menginstal Hadoop 2.6 On Centos/RHEL 7/6/5, Ubuntu dan sistem operasi berbasis Debian lainnya. Artikel ini tidak termasuk konfigurasi keseluruhan untuk mengatur Hadoop, kami hanya memiliki konfigurasi dasar yang diperlukan untuk mulai bekerja dengan Hadoop.

Langkah 1: Menginstal Java

Java adalah persyaratan utama untuk mengatur Hadoop pada sistem apa pun, jadi pastikan Anda telah menginstal Java pada sistem Anda menggunakan perintah berikut.

# java -version java versi "1.8.0_101 "Java (TM) SE Runtime Environment (Build 1.8.0_131-B11) Java Hotspot (TM) 64-bit Server VM (Build 25.131-B11, mode campuran) 

Jika Anda tidak menginstal Java di sistem Anda, gunakan salah satu tautan berikut untuk menginstalnya terlebih dahulu.

Instal Java 8 di Centos/Rhel 7/6/5
Instal Java 8 di Ubuntu

Langkah 2: Membuat Pengguna Hadoop

Kami merekomendasikan membuat akun normal (atau root) untuk Hadoop Working. Jadi buat akun sistem menggunakan perintah berikut.

# Adduser Hadoop # Passwd Hadoop 

Setelah membuat akun, itu juga diperlukan untuk mengatur SSH berbasis kunci ke akunnya sendiri. Untuk melakukan ini gunakan, jalankan perintah berikut.

# su -hadoop $ ssh -keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~//.ssh/otorisasi_keys $ chmod 0600 ~/.ssh/otorisasi_keys 

Mari kita verifikasi login berbasis kunci. Perintah di bawah ini tidak boleh meminta kata sandi tetapi pertama kali akan meminta untuk menambahkan RSA ke daftar host yang diketahui.

$ ssh localhost $ exit 

Langkah 3. Mengunduh Hadoop 2.6.5

Sekarang unduh Hadoop 2.6.0 file arsip sumber menggunakan perintah di bawah ini. Anda juga dapat memilih cermin unduhan alternatif untuk meningkatkan kecepatan unduhan.

$ CD ~ $ wget http: // www-eu.Apache.org/dist/hadoop/common/hadoop-2.6.5/Hadoop-2.6.5.ter.GZ $ TAR XZF HADOOP-2.6.5.ter.GZ $ MV Hadoop-2.6.5 Hadoop 

Langkah 4. Mengkonfigurasi mode terdistribusi pseoop pseoop

4.1. Setup variabel lingkungan hadoop

Pertama, kita perlu mengatur penggunaan variabel lingkungan oleh Hadoop. Edit ~/.Bashrc file dan tambahkan nilai berikut di akhir file.

export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$ HADOOP_HOME/SBIN: $ HADOOP_HOME/BIN 

Sekarang terapkan perubahan dalam lingkungan berjalan saat ini

$ sumber ~/.Bashrc 

Sekarang edit $ Hadoop_home/etc/hadoop/hadoop-env.SH file dan set Java_home Variabel Lingkungan. Ubah Java Path sesuai pemasangan di sistem Anda.

Ekspor java_home =/opt/jdk1.8.0_131/ 

4.2. Edit file konfigurasi

Hadoop memiliki banyak file konfigurasi, yang perlu dikonfigurasi sesuai persyaratan untuk mengatur infrastruktur Hadoop. Mari kita mulai dengan konfigurasi dengan pengaturan klaster node tunggal Hadoop dasar. Pertama, arahkan ke lokasi di bawah

$ cd $ hadoop_home/etc/hadoop 

Edit situs inti.xml

  FS.bawaan.Nama hdfs: // localhost: 9000   

Edit HDFS-Site.xml

  dfs.Replikasi 1 DFS.nama.File dir: /// home/hadoop/hadoopdata/hdfs/namenode dfs.data.File dir: /// home/hadoop/hadoopdata/hdfs/datanode   

Edit-situs Mapred.xml

  Mapreduce.kerangka.Nama benang   

Edit situs benang.xml

  benang.NodeManager.aux-services mapreduce_shuffle   

4.3. Format namenode

Sekarang format namenode menggunakan perintah berikut, pastikan direktori penyimpanan itu

$ hdfs namenode -format 

Output sampel:

15/02/04 09:58:43 Info Namenode.Namenode: startup_msg: /********************************************* *************** Startup_MSG: Mulai namenode startup_msg: host = svr1.tecadmin.net/192.168.1.133 startup_msg: args = [-format] startup_msg: versi = 2.6.5… 15/02/04 09:58:57 Info Umum.Penyimpanan: Direktori Penyimpanan/Rumah/Hadoop/HadoopData/HDFS/Namenode telah berhasil diformat. 15/02/04 09:58:57 Info Namenode.NnstorageretentionManager: akan mempertahankan 1 gambar dengan txid> = 0 15/02/04 09:58:57 info util.Keluar: Keluar dengan Status 0 15/02/04 09:58:57 Info Namenode.Namenode: shutdown_msg: /********************************************* *******************_Msg: Mematikan namenode di SVR1.tecadmin.net/192.168.1.133 *********************************************** ***********/ 

Langkah 5. Mulai Hadoop Cluster

Sekarang mulailah cluster hadoop Anda menggunakan skrip yang disediakan oleh Hadoop. Navigasikan ke direktori Hadoop SBIN Anda dan jalankan skrip satu per satu.

$ cd $ hadoop_home/sbin/ 

Sekarang jalankan start-dfs.SH naskah.

$ start-dfs.SH 

Output sampel:

15/02/04 10:00:34 WARN UTIL.NativeCodeloader: Tidak dapat memuat perpustakaan Native-Hadoop untuk platform Anda ... Menggunakan kelas-kelas builtin-java yang berlaku untuk memulai namenoda pada [LocalHost] LocalHost: Memulai namenode, logging ke/home/hadoop/hadoop/logs/hadoop-hadoop-namenode-SVR1.tecadmin.bersih.Out LocalHost: Memulai data, logging ke/home/hadoop/hadoop/log/hadoop-hadoop-datanode-svr1.tecadmin.bersih.keluar dari namenodes sekunder [0.0.0.0] Keaslian Host '0.0.0.0 (0.0.0.0) 'tidak bisa didirikan. Sidik jari kunci RSA adalah 3C: C4: F6: F1: 72: D9: 84: F9: 71: 73: 4A: 0D: 55: 2C: F9: 43. Apakah Anda yakin ingin terus menghubungkan (ya/tidak)? Ya 0.0.0.0: Peringatan: ditambahkan secara permanen '0.0.0.0 '(RSA) ke daftar host yang dikenal. 0.0.0.0: Mulai sekunderamenode, logging ke/home/hadoop/hadoop/log/hadoop-hadoop-secondarynamenode-svr1.tecadmin.bersih.Keluar 15/02/04 10:01:15 WARN UTIL.NativeCodeloader: Tidak dapat memuat perpustakaan Native-Hadoop untuk platform Anda ... Menggunakan kelas builtin-java yang berlaku 

Sekarang jalankan Mulai-Bukur.SH naskah.

$ start-yarn.SH 

Output sampel:

Mulai Daemon Benang Mulai ResourceManager, Logging to/Home/Hadoop/Hadoop/Logs/Yarn-Hadoop-Resourcemanager-SVR1.tecadmin.bersih.Out LocalHost: Memulai NodeManager, Logging to/Home/Hadoop/Hadoop/Logs/Yarn-Hadoop-NodeManager-SVR1.tecadmin.bersih.keluar 

Langkah 6. Akses Layanan Hadoop di Browser

Hadoop Namenode dimulai pada port 50070 default. Akses server Anda di port 50070 di browser web favorit Anda.

http: // svr1.tecadmin.net: 50070/ 

Sekarang akses port 8088 untuk mendapatkan informasi tentang cluster dan semua aplikasi

http: // svr1.tecadmin.net: 8088/ 

Akses port 50090 untuk mendapatkan detail tentang namenode sekunder.

http: // svr1.tecadmin.net: 50090/ 

Access Port 50075 untuk mendapatkan detail tentang datanode

http: // svr1.tecadmin.net: 50075/ 

Langkah 7. Uji pengaturan simpul tunggal Hadoop

7.1 - Buat direktori HDFS diperlukan dengan menggunakan perintah berikut.

$ bin/hdfs dfs -mkdir/pengguna $ bin/hdfs dfs -mkdir/user/hadoop 

7.2 - Sekarang salin semua file dari sistem file lokal/var/log/httpd ke sistem file terdistribusi hadoop menggunakan perintah di bawah ini

$ bin/hdfs dfs -put/var/log/httpd log 

7.3 - Sekarang Jelajahi Sistem File Terdistribusi Hadoop dengan membuka URL di bawah URL di browser.

 http: // svr1.tecadmin.net: 50070/explorer.html#/user/hadoop/logs 

7.4 - Sekarang Salin Direktori Log untuk Sistem File Terdistribusi Hadoop ke Sistem File Lokal.

$ bin/hdfs dfs -get log/tmp/logs $ ls -l/tmp/log/ 

Anda juga dapat memeriksa tutorial ini untuk menjalankan contoh pekerjaan MapReduce WordCount menggunakan baris perintah.