4. Tool robots.txt. Kamu akan melihat tool yang digunakan untuk mengetes robots.txt yang berisi 2 kotak form lengkap dengan tombol test untuk memeriksa robots.txt bikinan kamu. Saya tidak menggunakan tool generate robots.txt karena masih terbatas penggunaannya. (lihat gambar 2 dan 3)
Gambar 2. Form ini menunjukkan tempat dimana kamu harus mengisi protokol robots.txt
Gambar 3. Form ini menunjukkan tempat pengisian url file/direktori yang akan kamu test berdasarkan protokol robots.txt yang sudah kamu buat pada gambar 2.
mas hasil Stt2 http://www.domain/search/….html kan ikut ke index, itu berbahaya g y mas dengan algo google yg baru ini. perlu dibikin Disallow: /search/ ga y mas?
saya liat punya mas juga Disallow: /search/ alasannya kenapa mas.. maaf mas baru belajar blog saya.
newbie bener2 minta tlg nih mas, sy kena duplikat title tags dan duplikat title deskrispi, sebelumnya sy gunakan format prmalink spt ini:
1. hxxp;//namadomain.com/judul-artikel-saya-disini/ kemudian sy ganti pake post_id jd spt ini:
2. hxxp;//namadomain.com/post_id/judul-artikel-saya-disini/ contoh jadinya kyk gini
2. hxxp;//namadomain.com/231761/judul-artikel-saya-disini/
(yg sy pake skrg yg no.2 pake post_id)
nah utuk seetng robots.txt spy hxxp;//namadomain.com/judul-artikel-saya-disini/
tanpa nomor post_id gk keindeks gogle gimana mas, sy coba pake robot.txt kaya gini :
Disallow: /*/$
tp artikel baru yg pake no. post_id jd ikut gak keindeks gimana yg benar mas…
atas bantuannya mksh
ok.. langsung praktik bikin robots.txt. suwun om jev..
btw saya obok2 blog ini, sudah baca komen kawan2 juga, ko ga nemuin bagaimana cara membuat link keluar (link hidup) dari hasil pencarian blog agc bing kita om…
mohon pencerahannya..
suwun.. ^^
Permisi kang saya mw mnta bantuannya…
gini kang…kmrn saya br cek webmaster saya dan permasalahannya ada di sitemap…setiap saya resubmit selalu g bisa dan muncul eror spt ini : “We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”
katanya permasalahannya ada di robots.txt.
dan setingannya robots.txt seperti ini :
User-agent: *
Allow: /
itu permasalahannya apa y kang???memang seblmnnya saya baru utak-atik robots.txt sblmnya dengan mengikuti tutorial di atas…
saya benar2 mohon bantuannya…
Permisi kang mw nnya…
saya baru coba resubmit sitemap,tapi kq katanya eror di robots.txtnya kang???
yang kluar gini :”We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”
dan sitemap saya spt ini ”
User-agent: *
Disallow: /
”
itu permasalahannya dmn y kang??
emang sebelumnya saya baru edit robots.txt dari tutor di atas kang,setelah saya ganti permalink..
robots.txt nya baru 3 hari kang saya ganti…
mohon bantuannya kang…
trims…
Om kasusnya gini, dulu di permalink tag ane ganti dengan kata bukan tag, jadi yang harusnya “namadomain.com/taq/judulposting.html” ane rubah jadi “namadomain.com/bagaimana-ini/judulposting.html”, nah sekarang udah keindex banyak dengan permalink yang ke dua tersebut…pengennya ane ganti permalinknya biar taq nya bisa kembali ke yang default dan halaman yang udah ke index tidak jadi “page not found”, gimana robots.txt nya om?
Trus sekalian biar indexnya “namadomain.com/bagaimana-ini/judulposting.html” bisa cepet ilang robots.txt nya gimana, thanks Om atas infonya…
Kamu bisa pake tool webmaster
http://www.google.com/webmasters/tools/removals
nanti diminta url/diretory yang mau dihilangkan. Pada kasus kamu, isinya seperti ini
http://namadomain.com/bagaimana-ini/*
mas kalo saya punya masalh kayak gini.
/google-deal-for-massive.html
/google-deal-for-massive/
/tag/god/
/tag/god
nah yg bener tu yg pake html terus kalo tag yg dbelakangnya ngk da tanda /
nah cara benerin kalo lewat robot txt gimana? terus kalo misalkan mau ada duplikat jg pada xxx.com/asdf.html pada tagnya. nah cara biar ngk duplikat kodenya seperti apa mas? makasih mas
Selipkan ini
Disallow: /*/$