DATA BESAR

Membuat Direktori di HDFS dan Salin File (Hadoop)

Membuat Direktori di HDFS dan Salin File (Hadoop)

HDFS adalah Sistem file terdistribusi Hadoop. Ini adalah sistem penyimpanan terdistribusi untuk set data besar yang mendukung toleransi kesalahan, throughput tinggi, dan skalabilitas. Ini bekerja dengan membagi data menjadi blok yang direplikasi di beberapa mesin dalam sebuah cluster. Blok dapat ditulis atau dibaca dari secara paralel, memfasilitasi throughput tinggi dan toleransi kesalahan. HDFS menyediakan redundansi seperti RAID dengan failover otomatis. HDFS juga mendukung kompresi, replikasi, dan enkripsi.

Kasus penggunaan yang paling umum untuk HDFS adalah menyimpan koleksi besar data seperti file gambar dan video, log, data sensor, dan sebagainya.

Membuat Struktur Direktori dengan HDFS

Utilitas baris perintah "HDFS" tersedia di bawah $ HADOOP_HOME/bin direktori. Dengan asumsi bahwa direktori tempat sampah sudah termasuk JALUR Variabel Lingkungan. Sekarang masuk sebagai pengguna Hadoop dan ikuti instruksi.

  1. Membuat /data Direktori dalam sistem file HDFS. Saya bersedia menggunakan direktori ini untuk berisi semua data aplikasi.
    HDFS DFS -MKDIR /Data
  2. Membuat direktori lain /var/log, yang akan berisi semua file log. Sebagai direktori /var juga tidak ada, gunakan -P untuk membuat direktori induk juga.
    HDFS DFS -MKDIR -P /VAR /LOG
  3. Anda juga dapat menggunakan variabel selama pembuatan direktori. Misalnya, membuat direktori dengan nama yang sama dengan pengguna yang saat ini dicatat. Direktori ini dapat digunakan untuk berisi data pengguna.
    HDFS DFS -MKDIR -P /USER /$ USER

Mengubah izin file dengan HDFS

Anda juga dapat mengubah kepemilikan file serta izin dalam sistem file HDFS.

  • Untuk mengubah pemilik file dan pemilik grup, gunakan -chown Opsi baris perintah:
    hdfs dfs -chown -r $ hadoop_user: $ hadoop_user /user /hadoop
  • Untuk mengubah izin file, gunakan -Chmod Opsi baris perintah.
    HDFS DFS -CHMOD -R 775 /USER /HADOOP

Menyalin file ke HDFS

Itu HDFS perintah menyediakan -mendapatkan Dan -meletakkan Parameter untuk menyalin file ke/dari sistem file HDFS.

  • Misalnya, untuk menyalin satu file dari sistem file lokal ke HDFS:
    hdfs dfs -put ~/testfile.txt/var/log/
  • Salin banyak file seperti pohon direktori menggunakan karakter wildcard.
    hdfs dfs -put ~/log/*/var/log/

Mendaftarkan file dalam HDFS

Saat bekerja dengan cluster Hadoop, Anda dapat melihat file di bawah sistem file HDFS melalui baris perintah serta GUI.

  • Menggunakan -ls Opsi dengan HDFS untuk mendaftarkan file di sistem file HDFS. Misalnya untuk mendaftarkan semua file pada penggunaan direktori root:
    HDFS DFS -LS /
  • Perintah yang sama dapat digunakan untuk membuat daftar file dari subdirektori juga.
    HDFS DFS -LS /USER /HADOOP

    Anda harus mendapatkan output berikut:

    Daftar file dalam HDFS

  • Daripada baris perintah, Hadoop juga menyediakan penjelajah grafis untuk melihat, mengunduh, dan mengunggah file dengan mudah. Jelajahi sistem file HDFS pada port namenode pada url berikut:

    http: // localhost: 9870/explorer.html

    Jelajahi file di HDFS

Kesimpulan

HDFS juga mendukung berbagai aplikasi lain seperti MapReduce Jobs yang memproses volume data yang besar serta otentikasi pengguna dan mekanisme kontrol akses. HDFS juga dapat dikombinasikan dengan sistem file terdistribusi lainnya seperti S3 dan Swift untuk membuat solusi cloud hybrid yang menggabungkan ketersediaan tinggi dan latensi rendah dengan penyimpanan berbiaya rendah.

Di artikel ini, Anda telah belajar tentang membuat struktur direktori di sistem file HDFS, mengubah izin, dan menyalin dan mendaftarkan file dengan HDFS.