Crawler Access Webmasters Tool

Tutorial robots.txt berdasarkan Google Webmaster Tools

file robots.txt adalah file yang buat untuk menginstruksikan web robots, crawlers, atau spider yang masuk kedalam web atau blog kamu. File robots.txt mengontrol masuknya web robots yang biasanya datang dari situs search engine. Dengan adanya robots.txt, kamu bisa memberikan restriksi (semacam filter) terhadap file atau direktori tertentu dalam web, agar web robot tidak begitu saja mengcrawl semua isi dari web kamu, begitu juga sebaliknya.

Saya sendiri menggunakan robots.txt dengan tujuan melakukan restriksi web robot dari search engine terhadap konten yang ter-generate dalam blog ini, sehingga saya bisa menentukan konten-konten apa saja yang bisa di filter dan tidak, untuk dimasukkan dalam search engine. File robots.txt ini bisa juga digunakan sebagai cara menghindari duplicate content yang bisa saja ada dalam blog kamu, dalam hal ini duplicate title dan duplicate description seperti yang tercatat dalam Google Webmasters Tools.

Cobalah untuk mempelajari tentang robots.txt dalam tutorial ini, bagaimana file robots.txt ini digunakan untuk mengontrol search engine/web robots terhadap suatu situs.

Dalam tutorial robots.txt ini, saya menjelaskan pembuatan file robots.txt berdasarkan tool yang ada dalam Google Webmasters.

Berikut langkah-langkah cara membuat robots.txt menggunakan Google Webmasters Tools:

1. Signup/sign in Google Webmasters Tools. Masuk di akun Google Webmasters dengan username dan password akun Google kamu.

2. Masuk di situs yang mau dibuatkan file robots.txt. (Tentu saja situs kamu harus diverifikasi terlebih dahulu, baca di sini: cara verifikasi situs lewat Google Webmasters Tools)

3. Crawler access. Pada navigasi dashboard sebelah kiri masuk di Site configuration >> Crawler access (lihat gambar 1, klik gambar untuk memperbesar)

Crawler Access Webmasters Tool

(gambar 1)

4. Tool robots.txt. Kamu akan melihat tool yang digunakan untuk mengetes robots.txt yang berisi 2 kotak form lengkap dengan tombol test untuk memeriksa robots.txt bikinan kamu. Saya tidak menggunakan tool generate robots.txt karena masih terbatas penggunaannya. (lihat gambar 2 dan 3)
Form Protokol robots.txt
Gambar 2. Form ini menunjukkan tempat dimana kamu harus mengisi protokol robots.txt

Form File/ Direktori yang akan di-test
Gambar 3. Form ini menunjukkan tempat pengisian url file/direktori yang akan kamu test berdasarkan protokol robots.txt yang sudah kamu buat pada gambar 2.

5. User-agent: * artinya semua jenis robots yang diperintahkan menuruti protokol robots.txt, kamu bisa mengganti tan (*) dengan user agent yang lain. Contoh user-agent:

<code>
User-agent: ia_archiver
User-agent: Scooter
User-agent: ArchitextSpider
User-agent: fast
User-agent: Googlebot
User-agent: Googlebot-Images
User-agent: Mediapartners-Google
User-agent: Sidewinder
User-agent: Slurp
User-agent: Lycos_Spider_(T-Rex)
User-agent: Gulliver
User-agent: WebCrawler
</code>

6. Disallow: / dan Allow: / adalah protokol per-izinan apakah suatu file/direktori mau direstriksi atau tidak.

7. Cara pengisian form protokol robots.txt
Kamu cukup mengetikkan form protokol secara line by line. Berikut beberapa contoh kasus file atau direktori yang akan di isi dalam form protokol robots.txt:

A. Jika kamu tidak ingin semua user-agent/robots masuk ke dalam direktori blog kamu cukup mengisi form sbb:

<code>
User-agent: *
Disallow: /
</code>

B. Blok direktori dalam url.
Contoh: www.yourdomain.com/search/cara+membuat+blog

Direktori “/search/” akan direstriksi, beserta direktori/file setelahnya.

<code>
User-agent: *
Disallow: /search/
</code>

C. Blok file dalam url.
Contoh: www.yourdomain.com/foo/poster-artis.jpg

File poster-artis.jpg akan kita direstriksi.

<code>
User-agent: *
Disallow: /foo/poster-artis.jpg
</code>

D. Blok kata dalam url.
Contoh www.yourdomain.com/search/cara+membuat+blog

Kata “blog” dalam direktori “search” akan direstriksi.

<code>
User-agent: *
Disallow: /search/*blog
</code>

E. Blok semua url yang mengandung suatu spesial karakter.
Contoh www.yourdomain.com/search/cara+membuat+blog

Setiap url yang mengandung spesial karakter (+) akan direstriksi

<code>
User-agent: *
Disallow: /search/*+
</code>

F. Blok semua url yang diakhiri suatu spesial karakter.
Contoh www.yourdomain.com/search/cara+membuat+blog+

Setiap url yang berakhiran spesial karakter (+) akan direstriksi.

<code>
User-agent: *
Disallow: /search/*+$
</code>

G. Blok setiap awal suatu kata.
Contoh www.yourdomain.com/search/cara+membuat+blog

Setiap url yag ada kata “cara” dalam direktori “search” akan diblok.

<code>
User-agent: *
Disallow: /search/cara
</code>

H. Blok setiap file dengan suatu ekstension
Contoh www.yourdomain.com/search/cara+membuat+blog.html

Setiap url dalam direktori “search” yang mengandung ekstension “.html” akan di blok.

<code>
User-agent: *
Disallow: /search/*.html$
</code>

I. Mengizinkan kata tertentu yang direstriksi
Contoh
www.yourdomain.com/search/cara+membuat+blog
www.yourdomain.com/search/cara+membuat+blogs

Url dalam direktori “search” yang mengandung kata “blog” akan disallow tapi kata “blogs” tetap allow.

<code>
User-agent: *
Disallow: /search/*blog
Allow: /search/*blogs
</code>

J. Mengizinkan iklan Google Ads dalam web dapat dipantau oleh user-agent Google Ads.

<code>
User-Agent: MediaPartners-Google
Allow: /
</code>

K. Blok multiple url dan mengizinkan Google Ads user agent
Contoh
www.yourdomain.com/search/cara+membuat+blog
www.yourdomain.com/search/cari+duit+lewat+situs
www.yourdomain.com/search/tutorial+bikin+web
www.yourdomain.com/search/tutorial+bikin+weblog

Setiap url dalam direktori “search” yang mengandung kata “blog”,”duit”,dan “web” akan disallow, tapi kata “weblog” akan allow, dan Google Ads tetap bisa dipantau oleh user agent Google Ads.

<code>
User-agent: *
Disallow: /search/*blog
Disallow: /search/*blog
Disallow: /search/*blog
Allow: /search/*weblog

User-Agent: MediaPartners-Google
Allow: /
</code>

8. Tombol test. setelah kamu mengisi form protokol robots.txt dan menentukan url yang akan di test, silahkan klik tombol test untuk menilai apakah url tersebut disallow atau tidak.

9. Jika sudah yakin dengan semua protokol robots.txt yang kamu buat, kamu bisa kopas di notepad dan disimpan dengan nama robots.txt (semua lowercase) bukan Robots.txt.

10. Masukkan file tersebut ke direktori utama domain kamu dan cek dengan melihat alamat url http://yourdomain.com/robots.txt

Selamat mencoba sob! :)

Baca juga tutorial lainnya seperti pasang thumbnail di random posts dan recent posts serta oprek plugin stt 2.

60 Replies to “Tutorial robots.txt berdasarkan Google Webmaster Tools”

  1. aduh masih bingung mas. di webmaster web saya banyak duplikat…

    aduh masih bingung mas. di webmaster web saya banyak duplikat konten sama ada pesan “Google tidak dapat merayapi situs Anda karena kami tidak dapat mengakses file robots.txt situs Anda”
    ini penyebabnya apa ya?

  2. mas hasil Stt2 www.domain/search/…. html kan ikut ke index, itu…

    mas hasil Stt2 www.domain/search/…. html kan ikut ke index, itu berbahaya g y mas dengan algo google yg baru ini. perlu dibikin Disallow: /search/ ga y mas?
    saya liat punya mas juga Disallow: /search/ alasannya kenapa mas.. maaf mas baru belajar blog saya.

  3. newbie bener2 minta tlg nih mas, sy kena duplikat title…

    newbie bener2 minta tlg nih mas, sy kena duplikat title tags dan duplikat title deskrispi, sebelumnya sy gunakan format prmalink spt ini:
    1. hxxp;//namadomain.com/judul-artikel-saya-disini/ kemudian sy ganti pake post_id jd spt ini:
    2. hxxp;//namadomain.com/post_id/judul-artikel-saya-disini/ contoh jadinya kyk gini
    2. hxxp;//namadomain.com/231761/judul-artikel-saya-disini/

    (yg sy pake skrg yg no.2 pake post_id)

    nah utuk seetng robots.txt spy hxxp;//namadomain.com/judul-artikel-saya-disini/
    tanpa nomor post_id gk keindeks gogle gimana mas, sy coba pake robot.txt kaya gini :
    Disallow: /*/$
    tp artikel baru yg pake no. post_id jd ikut gak keindeks gimana yg benar mas…
    atas bantuannya mksh

  4. ok.. langsung praktik bikin robots.txt. suwun om jev.. btw saya…

    ok.. langsung praktik bikin robots.txt. suwun om jev..
    btw saya obok2 blog ini, sudah baca komen kawan2 juga, ko ga nemuin bagaimana cara membuat link keluar (link hidup) dari hasil pencarian blog agc bing kita om…
    mohon pencerahannya..
    suwun.. ^^

  5. Permisi kang saya mw mnta bantuannya… gini kang…kmrn saya br…

    Permisi kang saya mw mnta bantuannya…
    gini kang…kmrn saya br cek webmaster saya dan permasalahannya ada di sitemap…setiap saya resubmit selalu g bisa dan muncul eror spt ini : “We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”
    katanya permasalahannya ada di robots.txt.

    dan setingannya robots.txt seperti ini :
    User-agent: *
    Allow: /

    itu permasalahannya apa y kangmemang seblmnnya saya baru utak-atik robots.txt sblmnya dengan mengikuti tutorial di atas…

    saya benar2 mohon bantuannya…

  6. Permisi kang mw nnya… saya baru coba resubmit sitemap,tapi kq…

    Permisi kang mw nnya…

    saya baru coba resubmit sitemap,tapi kq katanya eror di robots.txtnya kang
    yang kluar gini :”We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.”

    dan sitemap saya spt ini ”
    User-agent: *
    Disallow: /


    itu permasalahannya dmn y kang??
    emang sebelumnya saya baru edit robots.txt dari tutor di atas kang,setelah saya ganti permalink..
    robots.txt nya baru 3 hari kang saya ganti…

    mohon bantuannya kang…
    trims…

  7. Om kasusnya gini, dulu di permalink tag ane ganti dengan…

    Om kasusnya gini, dulu di permalink tag ane ganti dengan kata bukan tag, jadi yang harusnya “namadomain.com/taq/judulposting.html” ane rubah jadi “namadomain.com/bagaimana-ini/judulposting.html”, nah sekarang udah keindex banyak dengan permalink yang ke dua tersebut…pengennya ane ganti permalinknya biar taq nya bisa kembali ke yang default dan halaman yang udah ke index tidak jadi “page not found”, gimana robots.txt nya om?

    Trus sekalian biar indexnya “namadomain.com/bagaimana-ini/judulposting.html” bisa cepet ilang robots.txt nya gimana, thanks Om atas infonya…

    • Kamu bisa pake tool webmaster www.google.com/webmasters/tools/removals nanti diminta url/diretory yang…

      Kamu bisa pake tool webmaster
      www.google.com/webmasters/tools/removals
      nanti diminta url/diretory yang mau dihilangkan. Pada kasus kamu, isinya seperti ini
      http://namadomain.com/bagaimana-ini/*

  8. mas kalo saya punya masalh kayak gini. /google-deal-for-massive.html /google-deal-for-massive/ /tag/god/…

    mas kalo saya punya masalh kayak gini.
    /google-deal-for-massive.html
    /google-deal-for-massive/

    /tag/god/
    /tag/god

    nah yg bener tu yg pake html terus kalo tag yg dbelakangnya ngk da tanda /
    nah cara benerin kalo lewat robot txt gimana? terus kalo misalkan mau ada duplikat jg pada xxx.com/asdf.html pada tagnya. nah cara biar ngk duplikat kodenya seperti apa mas? makasih mas

  9. Pingback: Membuat Meta Description di WordPress | JEVUSKA
  10. om kalau mau dissalow misal url yang berjumlah 1, 2…

    om kalau mau dissalow misal url yang berjumlah 1, 2 atau 3 karakter saja gimana ya om :D

  11. kalo ngeblo url kek gini gimana om? http://www.blog.com/topic/.html3-rna.html-page-5.html/ http://www.blog.com/topic/.html16%-panggilan-ke-call-center-telkomsel-berisi-keluhan.html.html koq…

    kalo ngeblo url kek gini gimana om?
    http://www.blog.com/topic/.html3-rna.html-page-5.html/
    http://www.blog.com/topic/.html16%-panggilan-ke-call-center-telkomsel-berisi-keluhan.html.html
    koq banyak banget .html nya?
    jadi biar cuman belakangnya aza ada .html nya om
    thanks

    • sebenarnya halaman itu akan hilang juga dengan sendirinya (butuh waktu…

      sebenarnya halaman itu akan hilang juga dengan sendirinya (butuh waktu lama sih) jika tidak ada link yang mengakses ke halaman tersebut (yang tidak diinginkan). Jadi kamu harus perbaiki dulu skrip blognya dan pastikan setiap halaman blog kamu tidak ada link seperti itu. Kemudian kamu ganti setiap meta deskripsi/title supaya kamu bisa memantau apakah halaman yang kita tidak inginkan tersebut ikut terduplikat juga. Jika masih ada yang duplikat setelah pergantian meta deskripsi berarti masih ada halaman dengan link yang mengakses halaman tersebut. Semoga membantu sob :)

  12. mau tanya nih om jev, saya sudah pakai robots.txt. Apa…

    mau tanya nih om jev, saya sudah pakai robots.txt. Apa memang setelah beberapa hari, pada dashboard webmastertools, terutama pada kolom “crawl error” terdapat hasil dari “Restricted by robots.txt” yang sudah kita buat?karena saya ingin menghilangkan direktori search agar dihilangkan dari index google, dan disana tertulis sebanyak 2000-an url yang sudah Restricted by robots.txt. Tetapi kenapa jumlah url yang “not found” tidak berkurang ya?duplicate tittle juga, apa memang membutuhkan waktu lama? gara-gara ini serp saya anjlok

    • Kolom Restricted by robots.tx pasti terisi. Kalo masalah page not…

      Kolom Restricted by robots.tx pasti terisi. Kalo masalah page not found, kamu harus perbaiki dulu halaman blog kamu, jangan sampai ada halaman yang memberikan link ke halaman not found terebut. Jika kamu sudah mengatasi masalah itu, ntar tinggal nunggu waktu aja untuk url not found itu akan berkurang.

  13. maaf om.. newbie mo tanya klo yang kek gni gmna…

    maaf om.. newbie mo tanya klo yang kek gni gmna ….

    /info/lowongan-januari-2011/
    /info/lowongan-januari-2011/page/2
    /info/lowongan-januari-2011

    klo yang pagination kan yg Disallow: /info/*/page/*

    klo yg ni /info/lowongan-januari-2011/ gmna?

    bnr ke’ gni Disallow: /info/*/ thanks…

    • Kamu bisa pake metode canonical untuk mengatasi cara ini.

      Kamu bisa pake metode canonical untuk mengatasi cara ini.

  14. disallow apa allow ya .harusnya ?

    disallow apa allow ya .harusnya ?

  15. sekedar Koreksi, kok di robots.txt om jev ada kayak gini…

    sekedar Koreksi, kok di robots.txt om jev ada kayak gini :
    Disallow: /*bllogspot …. mungkin salah tulis ya?
    trus biasanya di akhir robots.txt kita kasih link xml wp kita, tapi robots.txt yang om buat kok gak ada xml nya? tujuaanya apa ya?

    • hihihih.. iya keliru. Thanks atas koreksinya. :) Wah om nggat…

      hihihih.. iya keliru. Thanks atas koreksinya. :)
      Wah om nggat tau kalo itu. Kalo om sih yang enteng-enteng aja tapi maknyus. :)

  16. pakai cara ini bisa nggak? saya pakai itu Disallow: /info/*page

    pakai cara ini bisa nggak? saya pakai itu Disallow: /info/*page

    • Cara itu emang bisa, cuma sayang nanti kalo ada kalimat…

      Cara itu emang bisa, cuma sayang nanti kalo ada kalimat yang memuat kata page, bakal ikut terblokir juga . Jadi bagusnya kalo mo pake robots.txt untuk memblokir pagination di halaman search modelnya seperti ini:

      Disallow: /info/*/page/*

      Coba deh di test pake webmaster tool robots.txt test. :)

  17. Trims, info sangat berguna. Salam

    Trims, info sangat berguna. Salam

  18. Kalau mau : Resteriksi namadomainku/info/search-word.html/page/2/ itu gimana om ? Tujuan…

    Kalau mau :
    Resteriksi namadomainku/info/search-word.html/page/2/ itu gimana om ? Tujuan nya sih biar /page/2/ nya aja yang diresteriksi soalnya error title terus takut duplicate pdhl index sama archive oke” aja…

  19. pages with duplicate title tags di tempat saya buanyak mas…

    pages with duplicate title tags di tempat saya buanyak mas hehe… Gimana ya saya membuat robots.txt nya?

    hxxp://domain.com/wow/Tukang-Es-cendol (ada huruf besarnya)
    hxxp://domain.com/wow/tukang-es-cendol
    hxxp://domain.com/wow/tukang-es-cendol.html
    hxxp://domai.com/wow/Tukang-Es-cendol.html (ada huruf besarnya)

    Semuanya kayak gitu mas, terdeteksi sebagai duplicate content buanget. Tolong ya mas:

    1. Gimana robots.txt nya mas, terutama yang ada huruf besarnya tuh. Permalink yang saya pake yang .html

    2. Kalau terdeteksi gitu, cara ngapusnya gimana mas? Soalnya itu kan AGC. Apa hapus cache nya aja atau gimana ya mas? Soalnya saya cari-cari di webmaster tools gag ada menunya buat ngapus yang duplicate gitu.

  20. membantu sekali bozz. maksih ya :)

    membantu sekali bozz. maksih ya :)

  21. Akhirnya ada yang ngebahas, mudah2an bisa dibantu mas.. sama mas…

    Akhirnya ada yang ngebahas, mudah2an bisa dibantu mas..
    sama mas masalahnya, saya punya duplicate content yang jumlahnya ribuan, gara-garanya seperti ini:
    url yang betul
    http://bidanku.com/index.php?/Tahapan-Perkembangan-Anak

    contoh url duplikasi
    http://bidanku.com/%09/_/index.php?/Tahapan-Perkembangan-Anak
    http://bidanku.com/_/index.php?/Tahapan-Perkembangan-Anak

    Hampir tiap artikel ada duplikasi seperti itu, dan saya gak tau penyebabnya, daripada pusing cari penyebabnya (atau kalo mas bisa kasih solusi tuk betulin penyebab url jadi pada gitu?hehe), jadi saya gunakan aja robots.txt agar search engine tidak mengcrawl url yang diawali oleh %9 dan ( _ )

    Disallow: /%09/
    Disallow: /_/

    nah apakah pembuatan robots.txt ini sudah betul? saya khawatir search enginge malah tidak mengcrawl halaman lainnya juga
    mohon reviewnya
    Terima kasih

    • Kamu bisa test robots.txt yang kamu buat di tool webmaster.…

      Kamu bisa test robots.txt yang kamu buat di tool webmaster. Jika sudah benar, yang harus kamu lakukan selanjutnya adalah memperbaiki halaman yang memicu generate link yang tidak kamu inginkan.

  22. very nice post… makasih infonya bro,salam kenal. sudah saya terapkan…

    very nice post… makasih infonya bro,salam kenal.
    sudah saya terapkan pada blog :)

  23. saya banyak kena duplikat metadescription untuk url /search/k1+K2+K3 dengan /search/K1…

    saya banyak kena duplikat metadescription untuk url

    /search/k1+K2+K3 dengan /search/K1 K2 K3 , lalu saya blok salah satu url diatas ( yang pake spasi ) dengan :

    Disallow: /search/*%
    Disallow: /search/*%2
    Disallow: /search/*%2B
    Disallow: /search/*%20

    tapi kok duplikat tidak berkurang ya, malahan cenderung bertambah kenapa ya om ? apa kode diatas salah? padahal saya test dengan webmasters harusnya url yang ada spasinya bisa terblok

    terus satu lagi om, beberapa saat lalu web saya kena suspend hosting agak lama sampai 7 jam, yang jadi maslah di webmaster jadinya bayak ketemu crawl error 403 sampai 15000 url cara nguranginnya gimana ya om, terus bahaya gak buat SERP web saya?

    makasih ya om sebelumnya

    • Mas sudah lakukan test belum untuk robots.txt dan url yang…

      Mas sudah lakukan test belum untuk robots.txt dan url yang mas mau cek? kalo sudah dan hasilnya sesuai yang diharapkan, mas harus pastikan robots.txt mas di baca ulang oleh sang spider. Ini butuh beberapa jam bahkan hari bagi spider melihat robots.txt yang baru. Untuk error 403 nggak bisa dikurangin mas di webmaster, pastikan aja blog mas tidak down lagi, dan pastinya jika blog mas sudah live kembali error itu akan hilang sendiri kok dari webmaser tool. SERP? jelas sangat berpengaruh mas, search engine tidak mengharapkan halaman error tampil di situsnya bukan? Thats simple isn’t it! :)

  24. om, tanya donk, ini harus disetting di yg ada www…

    om, tanya donk, ini harus disetting di yg ada www nya atau yang ga ?
    soalnya kan aku prefer www nah kan harus verifikasi yg ga www juga ..
    tolong dibantu om :)

    thanks

    • Kalo untuk test robots.txt, pake yang kamu pilih aja.

      Kalo untuk test robots.txt, pake yang kamu pilih aja.

  25. halo om jev, salam kenal newbie nih. Setelah baca-baca konten…

    halo om jev, salam kenal newbie nih.

    Setelah baca-baca konten blognya om jev, jadi sering bolak-balik terus kesini jadinya.

    mo nanya boleh ya om,

    saya ada masalah gini. dulu kan saya pake blogger, trus migrasi ke wordpress. Nah yang jadi masalah setting format permalink beda. kalo di blogger kaya gini :

    h**p://namadomain.com/tahun/bulan/nama-file.html

    nah yang sekarang sy pake formatnya kaya gini

    h**p://namadomain.com/nama-file.html

    masalahnya sekarang di webmaster jadi bejibun deh halaman yang not found karena permalinknya beda. Untuk ngatasinnya gimana nih om. Tolong bantuannya.

    Thanks.

    • Coba pake plugin redirect permalink, kamu tinggal download di webmaster…

      Coba pake plugin redirect permalink, kamu tinggal download di webmaster link apa saja yang not found terus setting redirectnya di plugin redirect permalink.

  26. Semoga saya dapat mencobanya. tq

    Semoga saya dapat mencobanya. tq

  27. langganan lagi mas mau tanya :kena duplikat title /topik/www.5252qs.cn—114– /topik/www.5252qs.cn—114…

    langganan lagi mas mau tanya :kena duplikat title
    /topik/www.5252qs.cn—114–
    /topik/www.5252qs.cn—114
    /topik/se-sao42-com-.html
    sedang kan permalink yg saya pakai /topik/key1-key2-key3.html
    jika saya menambahkan robot text seperti ini bisa gak mas :
    Disallow: /topik/*-.html$
    Disallow: /topik/*–.html$
    Disallow: /topik/*—.html$
    Disallow: /topik/*–
    Disallow: /topik/*—

    sekian terima kasih

    • Disallow: /topik/*-.html$ Disallow: /topik/*–.html$ Disallow: /topik/*—.html$ itu cukup betul :)

      Disallow: /topik/*-.html$
      Disallow: /topik/*–.html$
      Disallow: /topik/*—.html$

      itu cukup betul :)

  28. master, muridmu yang haus ilmu ini kembali lagi..hehe oiya, saya…

    master, muridmu yang haus ilmu ini kembali lagi..hehe

    oiya, saya sudah menemukan jawaban atas pertanyaan saya sendiri. bagaimana agar autocontent yang berkembang sesuai dengan tema blog kita.

    autocontent ini saya terapkan di *** mohon koreksi dan petunjuknya master, apakah dengan cara seperti ini autocontent bisa berkembang?

    tengkyu….

  29. thanks bro tipsnya, aq lg belajar utak-atik html di WP,…

    thanks bro tipsnya, aq lg belajar utak-atik html di WP, ternyata susahnya minta ampun bro….kebiasaan diblogspot jd di WP bingung…sekali lagi thanks artikelnya. salam kenal

    • Salam kenal mas. Hmm keknya ane mau belajar sulap nih.…

      Salam kenal mas. Hmm keknya ane mau belajar sulap nih. Ala bisa karena biasa, semangat mas!

  30. mas, ane dpt peringatan dari adsense setelah beberapa bulan pasang…

    mas, ane dpt peringatan dari adsense setelah beberapa bulan pasang auto content.. setelah ane cek memang banyak bener keyword2 lendir yg masuk…. dan terakhir dpt peringatan karena ada keyword lendir dalam bahasa italia, dan orang klik iklan melalui url yg mengandung keyword lendir tersebut. nah klo diblok pke cra ini ga mungkin bisa mas, ribet banget, pa lagi klo banyak keyword2 (total ada sekitar 50.000) keyword lendir pake bahasa aneh2 dan google tau.. untungnya google masih baik hati ga langsung banned account ane mas….

    mohon bantuannya mas, bisa ga kira2 filter dilakukan di halaman search result saja.. oprek kode di halaman search result.. ane oprek error terus mas.. maklum masih newbie..
    ——————————————————————————-
    Search Results
    <h2 id="post-“><a href="” rel=”bookmark” title=”Permanent Link to “>
    <!– by –> | Posted in |
    Not Found
    ——————————————————————————-
    di atas adalah kode search.php pada template yg ane pake.. mohon bantuannya mas, agar muncul seperti ini :
    – jika kata kunci ada dalam artikel => maka muncul iklan adsense, muncul random post, muncul autocontent.
    – jika kata kunci tidak ada dalam artikel => maka tidak muncul iklan adsense, muncul random post, muncul autocontent..

    maaf klo kepanjangan master…. hehe… makasih sebelumnya..

    • Wah kodenya nggak jelas mas. Coba di convert dulu ke…

      Wah kodenya nggak jelas mas. Coba di convert dulu ke HTML baru post di form komentar lagi. Pake tool convert special characters into html entities di h**p://www.stanleyshilov.com/online-tools/convert-special-characters-into-html-entities/

    • sudah kok.. sori telat… anak sabar disayang tuhan :)

      sudah kok.. sori telat… anak sabar disayang tuhan :)

  31. Kalau disallow setiap kata di ?cid di halaman search gmna…

    Kalau disallow setiap kata di ?cid di halaman search gmna mas
    contoh domainku/search/kata-kata/?cid=36
    supaya yg di allow cuman content hasil pencarian

    • Coba deh pake ini <strong>Disallow: /*/*/?cid=</strong> terus test robots-nya di…

      Coba deh pake ini Disallow: /*/*/?cid= terus test robots-nya di webmaster tool

  32. mas….kalo` disallow domain.com/search nya trus apa bisa ke index tuh…

    mas….kalo` disallow domain.com/search nya trus apa bisa ke index tuh url soalnya kalo` pake auto content trus disallow domain.com/search pake robots.txt tadi berarti gak bisa muncul di halaman pencarian google nya donk? tolong pencerahannya mas……….

    • iya mas, tapi kan bisa dipilah2 untuk keyword tertentu saja.…

      iya mas, tapi kan bisa dipilah2 untuk keyword tertentu saja. makanya ada kode tertentu setelah direktorinya seperti tutorial di atas.

  33. Soal masalah beginian saya masih NOL BESAR.. mohon ijin saya…

    Soal masalah beginian saya masih NOL BESAR.. mohon ijin saya simpan di kompi untuk saya pelajari…
    Thanks atas infonya ini… selama ini saya tidak pernah menggunakan robots.txt. O ya, klo dah pasang sitemap (ato ap namnya sy lpa) tetap pake robots.txt ya..

    • plugin sitemap maksudnya? walaupu plugin sitemap biasanya sudah otomatis bikin…

      plugin sitemap maksudnya? walaupu plugin sitemap biasanya sudah otomatis bikin robots.txt, alangkah baiknya jika kita bisa buat manual.

  34. cara memblog yourdomain.com/search/-robots-txt , pada hal kata yg di inginkan…

    cara memblog yourdomain.com/search/-robots-txt , pada hal kata yg di inginkan yourdomain.com/search/robots-txt.html dengan menambahkan disallow: /search/*- gitu aja bisa mas

    • keliru sedikit mas. ini yang betul disallow: /search/- artinya hanya…

      keliru sedikit mas. ini yang betul disallow: /search/- artinya hanya permalink yang mengandung tanda (-) tepat setelah direktori search akan disallow.

      Kalo kode ini disallow: /search/*- artinya semua permalink yang mengandung tanda (-) dalam direktori search akan disallow.

  35. maaf mas setelah saya liat robot.txt blog anda saya nyontek…

    maaf mas setelah saya liat robot.txt blog anda saya nyontek aja ya?

  36. tank mas jadi agak tau sedikit.kemarin kan mengganti dari (+)…

    tank mas jadi agak tau sedikit.kemarin kan mengganti dari (+) ke (-) ternyata ada duplicate title tags pada kata yg persis hanya di bedakan +- saja.dg menambah kan pada robot (Disallow: /search/*+) .

Leave a Reply

Use tag [php] to add code, e.g. [php]<?php echo $var; ?>[/php]

*

*