Artikel Umum

Linux Shell Hapus garis duplikat dari file

Linux Shell Hapus garis duplikat dari file

Bash adalah salah satu cangkang paling populer dan digunakan oleh banyak pengguna Linux. Salah satu hal hebat yang dapat Anda lakukan dengan bash adalah garis duplikat yang dihapus dari file. Ini cara yang bagus untuk menyatakan file dan membuatnya terlihat lebih bersih dan lebih terorganisir. Ini bisa dilakukan dengan perintah sederhana di shell bash.

Yang harus Anda lakukan adalah mengetikkan perintah “Sort -u” diikuti dengan nama file. Ini akan mengambil file dan mengurutkan konten, lalu gunakan perintah "Uniq" untuk menghapus semua duplikat. Ini adalah cara yang mudah dan efisien untuk menghapus garis duplikat dari file Anda. Jika Anda adalah pengguna Linux, ini adalah alat yang hebat untuk dimiliki di gudang senjata Anda. Jadi lain kali Anda perlu membersihkan file, cobalah perintah bash ini dan lihat cara kerjanya untuk Anda!

Menghapus baris duplikat dari file

Untuk menghapus baris duplikat dari file dalam bash, Anda dapat menggunakan perintah Sort and Uniq.

Berikut adalah contoh cara melakukannya:

Urutkan file.txt | UNIQ> output.txt

Ini akan mengurutkan garis masuk mengajukan.txt, Hapus duplikat, dan simpan hasilnya ke file baru yang disebut output.txt.

Menghapus baris duplikat dari file

Anda juga dapat menggunakan -u Opsi perintah sortir untuk mencapai hasil yang sama:

Sortir -U file.txt> output.txt

Jika Anda ingin menghapus duplikat di tempat, tanpa membuat file baru, Anda dapat menggunakan perintah tee untuk mengarahkan kembali output kembali ke file asli:

Urutkan file.txt | uniq | file tee.txt  [ATAU] Sortir -U file.txt | file tee.txt

Perlu diingat bahwa perintah ini hanya akan menghapus duplikat jika garisnya persis sama. Jika Anda ingin mengabaikan ruang putih terkemuka atau tertinggal, atau perbedaan kasus, Anda dapat menggunakan -Saya, -B, Dan -F Opsi, masing -masing. Misalnya:

Sort -f -U file.txt> output.txt

Ini akan menghapus duplikat, mengabaikan perbedaan kasus.

Sort -f -B -U file.txt> output.txt

Ini akan menghapus duplikat, mengabaikan perbedaan kasus dan memimpin/membuntuti ruang putih.