Cara memblokir bot buruk menggunakan .htaccess

Jika Anda seorang pemilik situs web, Anda mungkin menyadari pentingnya Optimasi Mesin Pencari (SEO). Namun, apa yang tidak disadari oleh banyak pemilik situs web adalah bahwa ada bot yang merangkak internet yang dapat membahayakan SEO situs Anda dan fungsionalitas keseluruhan. Bot yang buruk dapat membahayakan situs Anda dengan berbagai cara, seperti menggosok konten Anda, mengirim spam formulir Anda, dan bahkan melakukan serangan DDOS.

Di artikel ini, kami akan membahas bagaimana Anda dapat menggunakan .htaccess untuk memblokir bot buruk dari mengakses situs Anda.

Identifikasi bot buruk

Sebelum Anda dapat memblokir bot yang buruk, Anda perlu tahu mana yang akan ditargetkan. Ada banyak alat yang tersedia yang dapat membantu Anda mengidentifikasi bot yang mengakses situs Anda. Google Analytics, misalnya, dapat menunjukkan kepada Anda bot mana yang mengakses situs Anda, seberapa sering mereka melakukannya, dan halaman mana yang mereka kunjungi.

Setelah Anda mengidentifikasi bot yang ingin Anda blokir, Anda dapat menggunakannya .htaccess untuk membuat daftar hitam agen pengguna. Agen pengguna adalah string yang digunakan bot untuk mengidentifikasi diri mereka ke situs Anda. Misalnya, GoogleBot mengidentifikasi dirinya dengan string agen pengguna “GoogleBot."

Buat daftar hitam

Untuk membuat daftar hitam agen pengguna, Anda dapat menggunakan kode berikut di Anda .File htaccess:

REWRITEEngine di REWRITECOND %http_user_agent badbot1 [nc, atau] revitecond %http_user_agent badbot2 [nc, atau] recritecond %http_user_agent badbot3 recritecond %http_user_agent badbot3 recritecond %http_user_agent badbot3 recritecond %.*) $ - [f, l]

12345

REWRITEEngine OnRewRItECond %http_user_agent badbot1 [nc, atau] revitecond %http_user_agent badbot2 [nc, atau] revitecond %http_user_agent badbot3ruleRecond %http_user_agent badbot3ruleRecond %.*) $ - [f, l]

Dalam contoh ini, kami menggunakan REWRITECOND Petunjuk untuk memeriksa apakah Http_user_agent Header cocok dengan salah satu bot buruk kami. Jika ya, kami menggunakan arahan penulis ulang untuk mengembalikan kesalahan 403 terlarang.

Itu NC Bendera berarti "Tidak ada kasus", yang berarti bahwa pertandingan itu tidak peka. Itu ATAU Bendera berarti kami memeriksa beberapa kondisi, dan L Bendera berarti bahwa ini adalah aturan terakhir yang akan diproses.

Uji Anda .file htaccess

Setelah Anda membuat daftar hitam, penting untuk menguji .file htaccess untuk memastikan itu berfungsi seperti yang diharapkan. Anda dapat menggunakan alat seperti alat webmaster Google untuk memantau lalu lintas situs Anda dan memastikan bahwa bot yang Anda targetkan sedang diblokir.

Anda juga dapat menggunakan alat seperti blocker bot buruk untuk secara otomatis membuat daftar bot buruk untuk diblokir. Alat ini akan secara otomatis memperbarui Anda .file htaccess dengan daftar bot buruk, membuatnya mudah untuk menjaga situs Anda terlindungi dari bot yang berbahaya.

Kesimpulan

Memblokir bot buruk adalah langkah penting dalam melindungi situs web Anda dari serangan jahat. Dengan menggunakan .htaccess untuk membuat daftar hitam agen pengguna, Anda dapat mencegah bot berbahaya mengakses situs Anda dan meningkatkan keamanannya secara keseluruhan. Ingatlah untuk secara teratur memantau lalu lintas situs Anda dan memperbarui daftar hitam Anda sesuai kebutuhan untuk menjaga situs Anda terlindungi.