Perintah Hadoop untuk mengelola file di HDFS

Tutorial ini membantu Anda belajar mengelola file kami di HDFS di Hadoop. Anda akan belajar cara membuat, mengunggah, mengunduh, dan daftar konten dalam HDFS. Perintah di bawah ini akan membantu Anda cara membuat struktur direktori di HDFS, menyalin file dari sistem file lokal ke HDFS dan mengunduh file dari HDF ke file lokal. Juga bagaimana melakukan mengelola file di HDFS.

Buat direktori di HDFS

Mengambil jalan URI seperti argumen dan membuat direktori atau banyak direktori.

HDFS DFS -MKDIR  

Ingatlah bahwa Anda harus membuat direktori home di HDFS dengan nama pengguna sistem Anda. Misalnya, Anda masuk sebagai HDUSER di sistem Anda, jadi pertama -tama buat /pengguna /hduser lain Anda akan mendapatkan kesalahan ini, sekarang buat struktur direktori di dalamnya

HDFS DFS -MKDIR/Pengguna/HDUSER HDFS DFS -MKDIR/USER/HDUSER/INPUT HDFS DFS -MKDIR/USER/HDUSER/OUTPUT HDFS -MKDIR/Pengguna/HDUSER/INPUT/Teks/Pengguna/Hadoop 

Salin file ke HDFS

Setelah membuat struktur direktori, sekarang letakkan beberapa file ke HDF dari sistem file lokal Anda.

hdfs dfs -put local_file hdfs_path 

Misalnya Anda test1.txt di direktori saat ini dan /tmp/test2.xml di sistem file lokal Anda.

HDFS DFS -Put Text1.txt/user/hduser/input/text/hdfs dfs -put/tmp/text2.xml/user/hduser/input/xml/ 

Daftar file dari HDFS

Gunakan perintah contoh berikut untuk mencantumkan konten direktori di HDFS.

HDFS DFS -LS/USER/HDUSER HDFS DFS -LS/USER/HDUSER/INPUT/HDFS DFS -LS/USER/HDUSER/INPUT/TEXT/TEKS/ 

Gunakan -r untuk mendaftar file secara rekursif di dalam direktori. Misalnya:

HDFS DFS -LS -R/USER/HADOOP/INPUT/ 

Unduh file dari HDFS

Pada titik ini, Anda telah belajar cara menyalin dan mendaftar file ke HDFS. Sekarang gunakan perintah contoh berikut untuk cara mengunduh/menyalin file dari HDFS ke sistem file lokal.

HDFS DFS -GET/USER/HDUSER/INPUT/TEXT/TEST1.txt/tmp/hdfs dfs -get/user/hadoop/dir1/xml/test2.xml /tmp / 

Di Sini /tmp ada di sistem file lokal sistem.

Salin file antara direktori HDFS

Anda dapat dengan mudah menyalin file antara sistem file HDFS menggunakan opsi Distcp.

HDFS DISTCP/USER/HDUSER/INPUT/XML/TEXT2.xml/user/hduser/output hdfs distcp/user/hduser/input/text/text1.xml/user/hduser/output