ZSTD - Algoritma kompresi data cepat yang digunakan oleh Facebook

ZStandard (juga dikenal sebagai zstd) adalah open source gratis, program kompresi data real-time cepat dengan rasio kompresi yang lebih baik, dikembangkan oleh Facebook. Ini adalah algoritma kompresi lossless yang ditulis C (Ada implementasi ulang di Jawa) - Dengan demikian program Linux asli.

Baca juga: 10 7ZIP (Data Comperssion) Contoh Perintah di Linux

Bila diperlukan, dapat berdagang kecepatan kompresi untuk rasio kompresi yang lebih kuat (kecepatan kompresi vs rasio kompresi pertukaran dapat dikonfigurasi dengan kenaikan kecil), sebaliknya. Ini memiliki mode khusus untuk kompresi data kecil, yang dikenal sebagai kompresi kamus, dan dapat membangun kamus dari setiap set sampel yang disediakan. Muncul dengan utilitas baris perintah untuk membuat dan decoding .zst, .GZ, .xz Dan .lz4 file.

Penting, ZStandard memiliki koleksi API yang kaya, mendukung hampir semua bahasa pemrograman populer termasuk Python, Java, JavaScript, NodeJs, Perl, Ruby, C#, Go, Rust, PHP, Switft, dan banyak lagi lainnya.

Ini secara aktif digunakan untuk mengompres volume besar data dalam berbagai format dan menggunakan kasus di Facebook; layanan seperti Amazon Redshift pergudangan data; database seperti Hadoop dan Redis; Jaringan Tor dan banyak aplikasi lainnya termasuk game.

Hasil berikut diperoleh dengan melakukan beberapa tes algoritma kompresi cepat pada server yang menjalankan Linux Debian menggunakan LZBench, alat benchmark in-memory open-source.

Cara menginstal alat kompresi zstandard di linux

Untuk memasang ZStandard Pada distribusi Linux, Anda perlu mengkompilasinya dari sumber, tetapi sebelum itu pertama -tama Anda perlu menginstal alat pengembangan yang diperlukan pada sistem Anda menggunakan manajer paket distribusi Anda seperti yang ditunjukkan.

$ sudo apt update && sudo apt install build-esential #ubuntu/debian #yum grup menginstal "alat pengembangan" #centos/rehl #dnf groupinstall "c alat pengembangan dan perpustakaan" #fedora 22+ 

Setelah semua alat pengembangan yang diperlukan diinstal, sekarang Anda dapat mengunduh paket sumber, pindah ke direktori repo lokal, membangun biner dan menginstalnya seperti yang ditunjukkan.

$ cd ~/unduh $ git clone https: // github.com/facebook/zstd.git $ cd zstd $ make $ sudo make install 

Sekali ZStandard terpasang, sekarang kita dapat bergerak lebih jauh untuk mempelajari beberapa penggunaan dasar Zstd CONTOM CONTOM DI BAGIAN BERIKUT.

Pelajari 10 contoh penggunaan perintah zstd di linux

Sintaks baris perintah ZSTD umumnya mirip dengan Gzip Dan xz alat, dengan beberapa perbedaan.

1. Untuk membuat a .zst file kompresi, cukup berikan nama file untuk mengompresnya atau menggunakan -z Bendera juga berarti kompres, yang merupakan tindakan default.

$ ZSTD Etcher-1.3.1-x86_64.AppImage atau $ ZSTD -Z etcher -1.3.1-x86_64.AppImage 

2. Untuk mendekompresi a .zst file kompresi, gunakan -D bendera atau unzstd utilitas seperti yang ditunjukkan.

$ zstd -d etcher -1.3.1-x86_64.AppImage.zst atau $ unzstd etcher-1.3.1-x86_64.AppImage.zst 

3. Untuk menghapus file sumber setelah operasi, secara default, file sumber tidak dihapus setelah kompresi atau dekompresi yang berhasil, untuk menghapusnya, gunakan --rm pilihan.

$ ls etcher-1.3.1-x86_64.AppImage $ ZSTD --RM Etcher-1.3.1-x86_64.AppImage $ ls etcher-1.3.1-x86_64.AppImage 

4. Untuk mengatur tingkat kompresi, ZSTD memiliki sejumlah pengubah operasi, misalnya Anda dapat menentukan tingkat kompresi sebagai -6(nomor 1-19, default adalah 3) seperti yang ditunjukkan.

$ zstd -6 --rm etcher -1.3.1-x86_64.AppImage 

5. Untuk mengatur kecepatan kompresi, ZSTD memiliki rasio kecepatan kompresi 1-10, Kecepatan kompresi default adalah 1. Anda dapat memperdagangkan rasio kompresi dengan kecepatan kompresi dengan --cepat opsi, semakin tinggi angka semakin cepat kecepatan kompresi.

$ zstd-fast = 10 etcher-1.3.1-x86_64.AppImage 

6. Untuk menampilkan informasi tentang file terkompresi, gunakan -l Bendera, yang digunakan untuk menampilkan informasi tentang file terkompresi, misalnya.

$ zstd -l etcher -1.3.1-x86_64.AppImage.zst 

7. Untuk menguji integritas file terkompresi, gunakan -T bendera seperti yang ditunjukkan.

$ zstd -t etcher -1.3.1-x86_64.AppImage.zst 

8. Untuk mengaktifkan mode verbose, gunakan -v pilihan.

$ zstd -v -5 etcher -1.3.1-x86_64.AppImage 

9. Untuk menggunakan kompresi file atau format dekompresi lainnya seperti GZIP, XZ, LZMA, dan LZ4, menggunakan --Format = Format seperti yang ditunjukkan.

$ zstd -v --format = gzip etcher -1.3.1-x86_64.AppImage $ zstd -v --format = xz etcher -1.3.1-x86_64.AppImage 

10. Untuk menetapkan prioritas proses ZSTD ke waktu nyata, Anda dapat menggunakan opsi tersebut -Prioritas = Rt seperti yang ditunjukkan.

$ zstd --priority = rt etcher-1.3.1-x86_64.AppImage 

Itu -R Bendera menginstruksikan ZSTD untuk beroperasi secara rekursif pada kamus. Anda dapat menemukan banyak opsi yang berguna dan canggih, cara membaca atau membuat kamus dengan berkonsultasi dengan halaman ZSTD Man.

$ man zstd 

Repositori Zstandard GitHub: https: // github.com/facebook/zstd

ZStandard adalah algoritma kompresi data real-time yang cepat dan lossless dan alat kompresi yang menawarkan rasio kompresi tinggi. Cobalah dan bagikan pemikiran Anda tentang hal itu atau ajukan pertanyaan melalui formulir umpan balik di bawah ini.