[Cegah Akses File robot.txt Kecuali Google]

http://www.linggih.com | Cegah Akses File robot.txt Kecuali Google 1

Cegah Akses File robot.txt Kecuali Google

File robots.txt dikhususkan hanya untuk blok robot (search engine) & bukan user (site

visitor). Karena file robots.txt merupakan public file, semua orang (site visitor) bisa melihat konfigurasi file atau direktori mana saja yang diblok oleh file robots.txt.

Cukup dengan mengetikkan alamat domain atau subdomain diikuti dengan mengetikkan

karakter garis miring/slash (/) + robots.txt, site visitor bisa melihat isi/konten file robots.txt (http://domain-target.com/robots.txt) (Gambar lihat Screenshot di bawah).

Untuk menghindari visitor akses file robots.txt, berikut ada cara menyembunyikan (deny access) file robot.txt dari scanning luar kecuali untuk googlebot dan google analytics:

Buka file .htaccess, kemudian tambahkan code di bawah ini:

<Files robots.txt> Order Deny,Allow Deny from All Allow from googlebot.com google.com google-analytics.com </Files>

Simpan perubahan file .htaccess. Sekarang setiap kali ada visitor yang akses file robots.txt, akan diarahkan ke halaman error 403 (forbidden).

Forbidden

You don’t have permission to access /robots.txt on this server.

[Cegah Akses File robot.txt Kecuali Google]

http://www.linggih.com | Forbidden 2

Semoga bermanfaat…

:D

Article Source:

http://linggih.com/webserver/cegah-aks es-file -robot-txt-kecuali-google/