Tutorial robots.txt berdasarkan Google Webmaster Tools
Sunday, April 25th, 2010file robots.txt adalah file yang buat untuk menginstruksikan web robots, crawlers, atau spider yang masuk kedalam web atau blog kamu. File robots.txt mengontrol masuknya web robots yang biasanya datang dari situs search engine. Dengan adanya robots.txt, kamu bisa memberikan restriksi (semacam filter)...