Robot.txt biasanya digunakan oleh para pemilik website untuk memberi perintah tentang isi websitenya kepada web robot dan dapat di index oleh webrobot, search engine, seperti googlebot dan lainnya, biasanya disebut The Robots Exclusion Protocol.
Seperti apa cara kerja robot.txt?. Jika ada web robot, kita ambil contoh googlebot, ketika googlebot melakukan penelusuran terhadap web kita untuk kemudian ditampilkan di halaman index google, terlebih dahulu googblebot membaca isi dari robot.txt, dan akan melakukan penelusuran terhadap website kita sesuai dengan perintah yang ada pada robot.txt.
Berikut perintah pada robot.txt :
User-agent: *
Disallow: /
User-agent:*
Maksudnya adalah ijinkan semua bot atau search engine, seperti google, yahoo, dan lainnya untuk menelusuri web kita. apa saja yang di telusuri ?. perintah dibawahnya yang akan menjawab.
Disallow : /
Disallow maksudnya adalah tidak diijinkan , apa yang tidak dijinkan ?, tanda "/" itu artinya semua direktori dan file yang ada pada website. jadi maksud dari Disallow:/ semua direktori dan file yang ada tidak diijinkan untuk ditelusuri. robot tidak mengenal perintah allow , jadi kita harus menggunakan kata Disallow: untuk mengijinkan bot menelusuri semua yang ada pada website kita.
sehingga menjadi
User-agent: *
Disallow:
Contoh :
------------------------------
User-agent: *
Disallow:/Adminstrator/
Disallow:/cgi/
Disallow:/Component/login.php
Disallow:/Plugin
User-agent:botyangdinilaimembahayakan
Disallow:/
------------------------------
Ijinkan semua bot atau search engine kecuali botyangdinilaimembahayakan, Ijinkan menelusuri semua direktori dan file kecuali, direktori administrator, direktori cgi, file login pada direktori component, dan direktori plugin.
semoga bermanfaat.