Penyebab Munculnya Diindeks Meski Diblokir Oleh Robot.txt
Pemberitahuan Diindeks Meski Diblokir Oleh Robot.txt pada umumnya akan muncul pada Google web master dengan platform blogger yang usianya belum ada satu tahun dan itu sangat wajar.
Arti dari pemberitahuan di indeks tapi diblokir robot.txt maksudnya adalah ada link yang terakses pada blog kamu kemudian tercrawl dan terindeks oleh sitemap tapi link tersebut diblokil oleh fungsi dari robot.txt.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domainkamu.com/sitemap.xml
Format robot.txt adalah format yang default atau bawaan sebuah blog. Perhatikan fungsi Disallow: /search , artinya robot blog kamu akan mengindeks semua link yang ter crawl keculai jika ada link hasil dari pencarian atau link yang ada "/search" nya.
Oke sekarang perhatikan link yang terblokir robot di bawah ini, semuanya link hasil pencarian atau link yang muncul ketika kita mengklik sebuah label.
Arti dari pemberitahuan di indeks tapi diblokir robot.txt maksudnya adalah ada link yang terakses pada blog kamu kemudian tercrawl dan terindeks oleh sitemap tapi link tersebut diblokil oleh fungsi dari robot.txt.
Penyebab Munculnya Notifikasi Diindeks Meski Diblokir Oleh Robot.txt
Sebelum membahas lebih jauh, kamu yang mencari artikel ini kemungkinan besar menggunakan platform blogger untuk membangun sebuah website. Sekarang coba cek robot.txt yang digunakan, biasanya seperti berikut :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domainkamu.com/sitemap.xml
Format robot.txt adalah format yang default atau bawaan sebuah blog. Perhatikan fungsi Disallow: /search , artinya robot blog kamu akan mengindeks semua link yang ter crawl keculai jika ada link hasil dari pencarian atau link yang ada "/search" nya.
Oke sekarang perhatikan link yang terblokir robot di bawah ini, semuanya link hasil pencarian atau link yang muncul ketika kita mengklik sebuah label.
Apakah Itu Sebuah Masalah ?
Nhah pada notifikasi di web master memang tertulis "situs anda terpengaruh 1 liputan masalah", padahal aslinya hal tersebut tidak akan menjadi masalah dan tidak akan mempengaruhi blog kedepannya.
Justru sebaliknya, kalau robot di edit dan mengijinkan link search untuk di indeks akan membuat SEO di blog kita kurang bagus karena isinya bukan sebuah konten melainkan daftar konten dari keyword atau label yang dicari.
Solusinya sederhana saja, selama link yang di blokir ada /search didalamnya, biarkan saja tidak usah merubah apapun termasuk robot.txt default.
Kamu tidak perlu mengedit-edit robot txt ataupun sitemap.xml nya, dengan begitu link yang terindeks hanya berupa link yang terdapat konten jika diakses. Jangan dipikirkan, lanjutkan nge-blog dan lanjutkan membuat konten.
Nhah pada notifikasi di web master memang tertulis "situs anda terpengaruh 1 liputan masalah", padahal aslinya hal tersebut tidak akan menjadi masalah dan tidak akan mempengaruhi blog kedepannya.
Justru sebaliknya, kalau robot di edit dan mengijinkan link search untuk di indeks akan membuat SEO di blog kita kurang bagus karena isinya bukan sebuah konten melainkan daftar konten dari keyword atau label yang dicari.
Cara Mengatasi Diindeks Meski Diblokir Oleh Robot.txt
Terakhir, mungkin buat teman-teman yang baru masuk di dunia blog dan mendapatkan notifikasi tersebut pastinya akan bertanya-tanya bagaimana Cara Mengatasi Diindeks Meski Diblokir Oleh Robot.txt bukan ?Solusinya sederhana saja, selama link yang di blokir ada /search didalamnya, biarkan saja tidak usah merubah apapun termasuk robot.txt default.
Kamu tidak perlu mengedit-edit robot txt ataupun sitemap.xml nya, dengan begitu link yang terindeks hanya berupa link yang terdapat konten jika diakses. Jangan dipikirkan, lanjutkan nge-blog dan lanjutkan membuat konten.