Tutorial robots.txt berdasarkan Google Webmaster Tools
Sunday, April 25th, 2010file robots.txt adalah file yang buat untuk menginstruksikan web robots, crawlers, atau spider yang masuk kedalam web atau blog kamu. File robots.txt mengontrol masuknya web robots yang biasanya datang dari situs search engine. Dengan adanya robots.txt, kamu bisa memberikan restriksi (semacam filter) terhadap file atau direktori tertentu dalam web, agar web robot tidak begitu saja mengcrawl semua isi dari web kamu, begitu juga sebaliknya.Saya sendiri menggunakan robots.txt dengan tujuan melakukan restriksi web robot dari search engine terhadap konten yang ter-generate dalam blog ini, sehingga...