H. Blok setiap file dengan suatu ekstension
Contoh www.yourdomain.com/search/cara+membuat+blog.html
Setiap url dalam direktori “search” yang mengandung ekstension “.html” akan di blok.
User-agent: *
Disallow: /search/*.html$
I. Mengizinkan kata tertentu yang direstriksi
Contoh
www.yourdomain.com/search/cara+membuat+blog
www.yourdomain.com/search/cara+membuat+blogs
Url dalam direktori “search” yang mengandung kata “blog” akan disallow tapi kata “blogs” tetap allow.
User-agent: *
Disallow: /search/*blog
Allow: /search/*blogs
J. Mengizinkan iklan Google Ads dalam web dapat dipantau oleh user-agent Google Ads.
User-Agent: MediaPartners-Google
Allow: /
K. Blok multiple url dan mengizinkan Google Ads user agent
Contoh
www.yourdomain.com/search/cara+membuat+blog
www.yourdomain.com/search/cari+duit+lewat+situs
www.yourdomain.com/search/tutorial+bikin+web
www.yourdomain.com/search/tutorial+bikin+weblog
Setiap url dalam direktori “search” yang mengandung kata “blog”,”duit”,dan “web” akan disallow, tapi kata “weblog” akan allow, dan Google Ads tetap bisa dipantau oleh user agent Google Ads.
User-agent: *
Disallow: /search/*blog
Disallow: /search/*blog
Disallow: /search/*blog
Allow: /search/*weblog
User-Agent: MediaPartners-Google
Allow: /
8. Tombol test. setelah kamu mengisi form protokol robots.txt dan menentukan url yang akan di test, silahkan klik tombol test untuk menilai apakah url tersebut disallow atau tidak.
9. Jika sudah yakin dengan semua protokol robots.txt yang kamu buat, kamu bisa kopas di notepad dan disimpan dengan nama robots.txt (semua lowercase) bukan Robots.txt.
10. Masukkan file tersebut ke direktori utama domain kamu dan cek dengan melihat alamat url http://yourdomain.com/robots.txt
Selamat mencoba sob!
Baca juga tutorial lainnya seperti pasang thumbnail di random posts dan recent posts serta oprek plugin stt 2.
mas hasil Stt2 http://www.domain/search/….html kan ikut ke index, itu berbahaya g y mas dengan algo google yg baru ini. perlu dibikin Disallow: /search/ ga y mas?
saya liat punya mas juga Disallow: /search/ alasannya kenapa mas.. maaf mas baru belajar blog saya.
newbie bener2 minta tlg nih mas, sy kena duplikat title tags dan duplikat title deskrispi, sebelumnya sy gunakan format prmalink spt ini:
1. hxxp;//namadomain.com/judul-artikel-saya-disini/ kemudian sy ganti pake post_id jd spt ini:
2. hxxp;//namadomain.com/post_id/judul-artikel-saya-disini/ contoh jadinya kyk gini
2. hxxp;//namadomain.com/231761/judul-artikel-saya-disini/
(yg sy pake skrg yg no.2 pake post_id)
nah utuk seetng robots.txt spy hxxp;//namadomain.com/judul-artikel-saya-disini/
tanpa nomor post_id gk keindeks gogle gimana mas, sy coba pake robot.txt kaya gini :
Disallow: /*/$
tp artikel baru yg pake no. post_id jd ikut gak keindeks gimana yg benar mas…
atas bantuannya mksh
ok.. langsung praktik bikin robots.txt. suwun om jev..
btw saya obok2 blog ini, sudah baca komen kawan2 juga, ko ga nemuin bagaimana cara membuat link keluar (link hidup) dari hasil pencarian blog agc bing kita om…
mohon pencerahannya..
suwun.. ^^
Permisi kang saya mw mnta bantuannya…
gini kang…kmrn saya br cek webmaster saya dan permasalahannya ada di sitemap…setiap saya resubmit selalu g bisa dan muncul eror spt ini : “We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”
katanya permasalahannya ada di robots.txt.
dan setingannya robots.txt seperti ini :
User-agent: *
Allow: /
itu permasalahannya apa y kang???memang seblmnnya saya baru utak-atik robots.txt sblmnya dengan mengikuti tutorial di atas…
saya benar2 mohon bantuannya…
Permisi kang mw nnya…
saya baru coba resubmit sitemap,tapi kq katanya eror di robots.txtnya kang???
yang kluar gini :”We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”
dan sitemap saya spt ini ”
User-agent: *
Disallow: /
”
itu permasalahannya dmn y kang??
emang sebelumnya saya baru edit robots.txt dari tutor di atas kang,setelah saya ganti permalink..
robots.txt nya baru 3 hari kang saya ganti…
mohon bantuannya kang…
trims…
Om kasusnya gini, dulu di permalink tag ane ganti dengan kata bukan tag, jadi yang harusnya “namadomain.com/taq/judulposting.html” ane rubah jadi “namadomain.com/bagaimana-ini/judulposting.html”, nah sekarang udah keindex banyak dengan permalink yang ke dua tersebut…pengennya ane ganti permalinknya biar taq nya bisa kembali ke yang default dan halaman yang udah ke index tidak jadi “page not found”, gimana robots.txt nya om?
Trus sekalian biar indexnya “namadomain.com/bagaimana-ini/judulposting.html” bisa cepet ilang robots.txt nya gimana, thanks Om atas infonya…
Kamu bisa pake tool webmaster
http://www.google.com/webmasters/tools/removals
nanti diminta url/diretory yang mau dihilangkan. Pada kasus kamu, isinya seperti ini
http://namadomain.com/bagaimana-ini/*
mas kalo saya punya masalh kayak gini.
/google-deal-for-massive.html
/google-deal-for-massive/
/tag/god/
/tag/god
nah yg bener tu yg pake html terus kalo tag yg dbelakangnya ngk da tanda /
nah cara benerin kalo lewat robot txt gimana? terus kalo misalkan mau ada duplikat jg pada xxx.com/asdf.html pada tagnya. nah cara biar ngk duplikat kodenya seperti apa mas? makasih mas
Selipkan ini
Disallow: /*/$