Cara Mengatur Hadoop Multi-Node Cluster di Centos 7/6
- 4970
- 646
- Karl O'Connell DDS
Perpustakaan Perangkat Lunak Apache Hadoop adalah kerangka kerja yang memungkinkan pemrosesan set data besar yang terdistribusi di seluruh kelompok komputer menggunakan model pemrograman sederhana.
Artikel kami sebelumnya tentang Hadoop menggambarkan cara mengatur kluster simpul tunggal. Artikel ini akan membantu Anda untuk langkah demi langkah menginstal dan mengkonfigurasi kluster multi-node Hadoop di CentOS/RHEL 6.
Rincian Pengaturan:
Hadoop Master: 192.168.1.15 (Hadoop-Master)
Hadoop Slave: 192.168.1.16 (Hadoop-Slave-1)
Hadoop Slave: 192.168.1.17 (Hadoop-Slave-2)
Langkah 1. Instal Java
Sebelum menginstal Hadoop, pastikan Anda memasang java di semua node sistem cluster Hadoop.
# java -version java versi "1.7.0_75 "Java (TM) SE Runtime Environment (Build 1.7.0_75-B13) Java Hotspot (TM) 64-bit Server VM (Build 24.75-B04, mode campuran)
Jika Anda tidak memiliki java yang diinstal, gunakan artikel berikut untuk menginstal java.
Langkah -langkah untuk menginstal Java 7 di CentOS/RHEL 7/6/5
Langkah 2. Buat Akun Pengguna
Buat Akun Pengguna Sistem di kedua sistem master dan slave untuk digunakan untuk instalasi Hadoop
# useradd hadoop # passwd hadoop
Mengubah Kata Sandi Untuk Pengguna Hadoop. Kata Sandi Baru: Retype Kata Sandi Baru: Passwd: Semua token otentikasi berhasil diperbarui.
Langkah 3: Tambahkan pemetaan FQDN
Edit /etc/host File di semua server master dan slave dan tambahkan entri berikut.
# vim /etc /host
192.168.1.15 Hadoop-Master 192.168.1.16 Hadoop-Slave-1 192.168.1.17 Hadoop-Slave-2
Langkah 4. Mengkonfigurasi Login Berbasis Kunci
Diperlukan untuk mengatur pengguna Hadoop ke SSH sendiri tanpa kata sandi. Gunakan perintah berikut untuk mengonfigurasi login otomatis antara semua server kluster Hadoop…
# su -hadoop $ ssh -keygen -t rsa $ ssh -copy -id -i ~/.ssh/id_rsa.pub [email dilindungi] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email dilindungi] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email dilindungi] $ chmod 0600 ~/.ssh/otorisasi_keys $ keluar
Langkah 5. Unduh dan Ekstrak Sumber Hadoop
Unduh Hadoop versi terbaru yang tersedia dari situs resminya di Hadoop-Master Server.
# mkdir/opt/hadoop # cd/opt/hadoop/ # wget http: // apache.Mesi.com.ar/hadoop/common/hadoop-1.2.0/Hadoop-1.2.0.ter.GZ # TAR -XZF HADOOP -1.2.0.ter.GZ # MV Hadoop-1.2.0 Hadoop # chown -r Hadoop/opt/hadoop # cd/opt/hadoop/hadoop/
Langkah 6: Konfigurasikan Hadoop
Pertama mengedit file konfigurasi Hadoop dan membuat perubahan berikut.
6.1 Edit situs inti.xml
# Vim conf/core-situs.xml
#Dial berikut di dalam tag konfigurasi FS.bawaan.Nama HDFS: // Hadoop-Master: 9000/DFS.izin salah
6.2 Edit HDFS-Site.xml
# vim conf/hdfs-site.xml
# Tambahkan yang berikut di dalam tag konfigurasi DFS.data.dir/opt/hadoop/hadoop/dfs/nama/data df true dfs.nama.dir/opt/hadoop/hadoop/dfs/name true dfs.Replikasi 1
6.3 Edit-situs Mapred.xml
# vim conf/mapred-site.xml
# Tambahkan yang berikut di dalam tag konfigurasi Mapred.pekerjaan.Tracker Hadoop-Master: 9001
6.4 Edit Hadoop-env.SH
# vim conf/hadoop-env.SH
Ekspor java_home =/opt/jdk1.7.0_75 Ekspor Hadoop_opts = -djava.bersih.preferensi preferensi = ekspor true hadoop_conf_dir =/opt/hadoop/hadoop/conf
Atur Java_Home Path sesuai konfigurasi sistem Anda untuk Java.
Langkah 7: Salin sumber Hadoop ke server budak
Setelah memperbarui konfigurasi di atas, kita perlu menyalin file sumber ke semua server budak.
# su-hadoop $ cd/opt/hadoop $ scp -r hadoop hadoop-slave-1:/opt/hadoop $ scp -r hadoop-slave-2:/opt/hadoop
Langkah 8: Konfigurasikan Hadoop hanya di Master Server
Pergi ke folder sumber Hadoop di Hadoop-Master dan lakukan pengaturan berikut.
# su - hadoop $ cd/opt/hadoop/hadoop
$ vim conf/master Hadoop-Master
$ vim conf/slave Hadoop-Slave-1 Hadoop-Slave-2
Node nama format hanya pada Hadoop Master
# Su - Hadoop $ CD/Opt/Hadoop/Hadoop $ bin/Hadoop Namenode -Format
13/07/13 10:58:07 Info Namenode.Namenode: startup_msg: /********************************************* *************** startup_msg: Memulai namenode startup_msg: host = hadoop-master/192.168.1.15 startup_msg: args = [-format] startup_msg: versi = 1.2.0 startup_msg: build = https: // svn.Apache.org/repo/asf/hadoop/common/cabang/cabang-1.2 -r 1479473; Disusun oleh 'Hortonfo' pada Senin 6 Mei 06:59:37 UTC 2013 Startup_MSG: Java = 1.7.0_25 *********************************************** ***********/13/07/13 10:58:08 Info util.GSET: Kapasitas komputasi untuk blocksmap peta 13/07/13 10:58:08 Info util.GSET: VM TYPE = 32-bit 13/07/13 10:58:08 Info util.GSET: 2.0% memori maks = 1013645312 13/07/13 10:58:08 Info util.GSET: Kapasitas = 2^22 = 4194304 Entri 13/07/13 10:58:08 Info Util.GSET: Direkomendasikan = 4194304, aktual = 4194304 13/07/13 10:58:08 Info Namenode.Fsnamesystem: fsowner = hadoop 13/07/13 10:58:08 info namenode.Fsnamesystem: supergroup = supergroup 13/07/13 10:58:08 info namenode.Fsnamesystem: isPerMissionenabled = true 13/07/13 10:58:08 Info namenode.Fsnamesystem: dfs.memblokir.membatalkan.Batas = 100 13/07/13 10:58:08 Info Namenode.Fsnamesystem: isAccessTokenEnabled = false accessKeyupDateInterval = 0 mnt), accessTokenlifetime = 0 mnt (s) 13/07/13 10:58:08 Info namenode.FSEdItlog: DFS.namenode.sunting.toleransi.Panjang = 0 13/07/13 10:58:08 Info Namenode.Namenode: Nama file caching terjadi lebih dari 10 kali 13/07/13 10:58:08 Info Umum.Penyimpanan: File gambar ukuran 112 disimpan dalam 0 detik. 13/07/13 10:58:08 Info Namenode.FSEdItlog: Penutupan Edit Log: Posisi = 4, EditLog =/opt/hadoop/hadoop/dfs/name/arus/edit 13/07/13 10:58:08 Info Namenode.FSEdItlog: Tutup Sukses: Truncate ke 4, EditLog =/opt/hadoop/hadoop/dfs/name/current/edit 13/07/13 10:58:08 Info Umum Umum.Penyimpanan: Direktori Penyimpanan/Opt/Hadoop/Hadoop/DFS/Nama telah berhasil diformat. 13/07/13 10:58:08 Info Namenode.Namenode: shutdown_msg: /********************************************* *******************_Msg: Mematikan namenode di Hadoop-master/192.168.1.15 *********************************************** ***********/
Langkah 9: Mulai Layanan Hadoop
Gunakan perintah berikut untuk memulai semua layanan Hadoop di Hadoop-Master
$ bin/start-all.SH