Cara Mengatasi URL Dicekal Robot.txt

Assalamualaikum Wr Wb.

Hari ini saya akan membahas bagaimana cara mengatasi url yg dicekal robot.txt atau menghapus pencekalan url robot.txt. Blog baru sering mengalami kejadian di mana ada url dicekal. Ini akan berdampak besar pada hasil pencarian google akan konten blog anda. Dimana konten tidak akan di akses ada di crawl oleh robot karena ada perintah untuk tidak mengakses konten tersebut. Url dicekal robot dapat dilihat melalui webmaster tool. Pada halaman webmaster, pilih menu perayapan kemudian pilih url yg dicekal. Pada halaman tersebut akan nampak jumlah url konten blog anda yg dicekal oleh robot. Bagaimana cara mengatasi url yg dicekal robot.txt, simak penjelasannya di bawah ini.

Cara Mengatasi URL Dicekal Robot.txt

Pada dasarnya format robot.txt ketika anda baru memulai blog akan terlihat seperti di bawah ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap:  http://an-pathti.blogspot.co.id/search/label/Arkeologi%20Dunia

Tag Disallow di atas memerintahkan robot.txt untuk tidak mengakses halaman seperti /search/label/blogger dan halaman lain yg sama. Nah bagaimana cara mengatasi pencekalan url simak caranya.

• Login ke akun blogger anda.
• Pada dashboard pilih menu setelan > Preferensi penelusuran
• Pada kolom Perayap dan pengindeksan,
• Klik Edit pada robots.txt khusus.
• Masukan kode dibawah ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://an-pathti.blogspot.co.id/search/label/Arkeologi%20Dunia

• Kemudian klik simpan

Tulisan yg berwarna merah silahkan anda ubah dengan url blog anda. Pada kode di atas kita hanya menghilang tag /search. Dalam 2 hari kemungkinan url yg dicekal akan terindeks kembali. Demikianlah ulasan saya mengenai cara mengatasi url yg dicekal robot.txt atau cara menghapus pencekalan url robot.txt. Semoga artikel ini dapat bermanfaat bagi kita semua.