Hadoop - Menjalankan Contoh MapReduce WordCount

Tutorial ini akan membantu Anda menjalankan contoh WordCount MapReduce di Hadoop menggunakan baris perintah. Ini juga bisa menjadi tes awal untuk pengujian pengaturan Hadoop Anda.

1. Prasyarat

Anda harus menjalankan pengaturan Hadoop di sistem Anda. Jika Anda tidak memiliki Hadoop menginstal instalasi Hadoop di tutorial Linux.

2. Salin file ke sistem file namenode

Setelah berhasil memformat namenode, Anda harus memulai semua layanan Hadoop dengan benar. Sekarang buat direktori di sistem file hadoop.

$ hdfs dfs -mkdir -p/user/hadoop/input 

Salin Salin beberapa file teks ke sistem file hadoop di dalam direktori input. Di sini saya menyalin lisensi.txt untuk itu. Anda dapat menyalin lebih banyak satu file.

$ hdfs dfs -put lisensi.txt/user/hadoop/input/ 

3. Menjalankan perintah wordcount

Sekarang jalankan contoh WordCount MapReduce menggunakan perintah berikut. Perintah di bawah ini akan membaca semua file dari folder input dan proses dengan file jar mapreduce. Setelah berhasil menyelesaikan hasil tugas akan ditempatkan pada direktori output.

$ CD $ HADOOP_HOME $ HADOOP JAR Share/Hadoop/MapReduce/Hadoop-Mapreduce-Examples-2.6.0.Jar WordCount Input Output 

4. Menunjukkan hasil

Pertama periksa nama file hasil yang dibuat di bawah [email terlindungi]/pengguna/hadoop/output sistem file menggunakan perintah berikut.

$ HDFS DFS -LS/USER/HADOOP/OUTPUT 

Sekarang tunjukkan konten file hasil di mana Anda akan melihat hasil WordCount. Anda akan melihat penghitungan setiap kata.

$ HDFS DFS -CAT/USER/HADOOP/OUTPUT/PART-R-00000