Tutorial robots.txt berdasarkan Google Webmaster Tools

Posted on by

5. User-agent: * artinya semua jenis robots yang diperintahkan menuruti protokol robots.txt, kamu bisa mengganti tan (*) dengan user agent yang lain. Contoh user-agent:


User-agent: ia_archiver
User-agent: Scooter
User-agent: ArchitextSpider
User-agent: fast
User-agent: Googlebot
User-agent: Googlebot-Images
User-agent: Mediapartners-Google
User-agent: Sidewinder
User-agent: Slurp
User-agent: Lycos_Spider_(T-Rex)
User-agent: Gulliver
User-agent: WebCrawler

6. Disallow: / dan Allow: / adalah protokol per-izinan apakah suatu file/direktori mau direstriksi atau tidak.

7. Cara pengisian form protokol robots.txt
Kamu cukup mengetikkan form protokol secara line by line. Berikut beberapa contoh kasus file atau direktori yang akan di isi dalam form protokol robots.txt:

A. Jika kamu tidak ingin semua user-agent/robots masuk ke dalam direktori blog kamu cukup mengisi form sbb:


User-agent: *
Disallow: /

B. Blok direktori dalam url.
Contoh: www.yourdomain.com/search/cara+membuat+blog

Direktori “/search/” akan direstriksi, beserta direktori/file setelahnya.


User-agent: *
Disallow: /search/

C. Blok file dalam url.
Contoh: www.yourdomain.com/foo/poster-artis.jpg

File poster-artis.jpg akan kita direstriksi.


User-agent: *
Disallow: /foo/poster-artis.jpg

D. Blok kata dalam url.
Contoh www.yourdomain.com/search/cara+membuat+blog

Kata “blog” dalam direktori “search” akan direstriksi.


User-agent: *
Disallow: /search/*blog

E. Blok semua url yang mengandung suatu spesial karakter.
Contoh www.yourdomain.com/search/cara+membuat+blog

Setiap url yang mengandung spesial karakter (+) akan direstriksi


User-agent: *
Disallow: /search/*+

F. Blok semua url yang diakhiri suatu spesial karakter.
Contoh www.yourdomain.com/search/cara+membuat+blog+

Setiap url yang berakhiran spesial karakter (+) akan direstriksi.


User-agent: *
Disallow: /search/*+$

G. Blok setiap awal suatu kata.
Contoh www.yourdomain.com/search/cara+membuat+blog

Setiap url yag ada kata “cara” dalam direktori “search” akan diblok.


User-agent: *
Disallow: /search/cara
Pages: 1 2 3 4

59 thoughts on “Tutorial robots.txt berdasarkan Google Webmaster Tools”

  1. mas hasil Stt2 http://www.domain/search/….html kan ikut ke index, itu berbahaya g y mas dengan algo google yg baru ini. perlu dibikin Disallow: /search/ ga y mas?
    saya liat punya mas juga Disallow: /search/ alasannya kenapa mas.. maaf mas baru belajar blog saya.

  2. newbie bener2 minta tlg nih mas, sy kena duplikat title tags dan duplikat title deskrispi, sebelumnya sy gunakan format prmalink spt ini:
    1. hxxp;//namadomain.com/judul-artikel-saya-disini/ kemudian sy ganti pake post_id jd spt ini:
    2. hxxp;//namadomain.com/post_id/judul-artikel-saya-disini/ contoh jadinya kyk gini
    2. hxxp;//namadomain.com/231761/judul-artikel-saya-disini/

    (yg sy pake skrg yg no.2 pake post_id)

    nah utuk seetng robots.txt spy hxxp;//namadomain.com/judul-artikel-saya-disini/
    tanpa nomor post_id gk keindeks gogle gimana mas, sy coba pake robot.txt kaya gini :
    Disallow: /*/$
    tp artikel baru yg pake no. post_id jd ikut gak keindeks gimana yg benar mas…
    atas bantuannya mksh

  3. ok.. langsung praktik bikin robots.txt. suwun om jev..
    btw saya obok2 blog ini, sudah baca komen kawan2 juga, ko ga nemuin bagaimana cara membuat link keluar (link hidup) dari hasil pencarian blog agc bing kita om…
    mohon pencerahannya..
    suwun.. ^^

  4. Permisi kang saya mw mnta bantuannya…
    gini kang…kmrn saya br cek webmaster saya dan permasalahannya ada di sitemap…setiap saya resubmit selalu g bisa dan muncul eror spt ini : “We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”
    katanya permasalahannya ada di robots.txt.

    dan setingannya robots.txt seperti ini :
    User-agent: *
    Allow: /

    itu permasalahannya apa y kang???memang seblmnnya saya baru utak-atik robots.txt sblmnya dengan mengikuti tutorial di atas…

    saya benar2 mohon bantuannya…

  5. Permisi kang mw nnya…

    saya baru coba resubmit sitemap,tapi kq katanya eror di robots.txtnya kang???
    yang kluar gini :”We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”

    dan sitemap saya spt ini ”
    User-agent: *
    Disallow: /

    ”
    itu permasalahannya dmn y kang??
    emang sebelumnya saya baru edit robots.txt dari tutor di atas kang,setelah saya ganti permalink..
    robots.txt nya baru 3 hari kang saya ganti…

    mohon bantuannya kang…
    trims…

  6. Om kasusnya gini, dulu di permalink tag ane ganti dengan kata bukan tag, jadi yang harusnya “namadomain.com/taq/judulposting.html” ane rubah jadi “namadomain.com/bagaimana-ini/judulposting.html”, nah sekarang udah keindex banyak dengan permalink yang ke dua tersebut…pengennya ane ganti permalinknya biar taq nya bisa kembali ke yang default dan halaman yang udah ke index tidak jadi “page not found”, gimana robots.txt nya om?

    Trus sekalian biar indexnya “namadomain.com/bagaimana-ini/judulposting.html” bisa cepet ilang robots.txt nya gimana, thanks Om atas infonya…

  7. mas kalo saya punya masalh kayak gini.
    /google-deal-for-massive.html
    /google-deal-for-massive/

    /tag/god/
    /tag/god

    nah yg bener tu yg pake html terus kalo tag yg dbelakangnya ngk da tanda /
    nah cara benerin kalo lewat robot txt gimana? terus kalo misalkan mau ada duplikat jg pada xxx.com/asdf.html pada tagnya. nah cara biar ngk duplikat kodenya seperti apa mas? makasih mas