Apa Fungsi Robot.txt Pada Blogger

Saya sudah pernah menulis tentang Cara Setting Robot.txt Pada Blogger dan pada tulisan tersebut ada beberapa teman blogger saya yang memberikan komentar, " Ini apa sih fungsinya" ?

Memang waktu itu saya hanya memberikan caranya saja dan tidak dengan penjelasan Apa sebenarnya fungsi Robot.txt !

Robot.txt pada blogger memang sangat penting yang berguna untuk membantu perayapan dan pengindeks'an blog di SE (Search Engine).

Fungsi Robot.txt

Secara sederhana Robot.txt ini adalah sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga mencegah semua halaman untuk di indeks.

Misalnya anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita bisa memanfaatkan fungsi dari robot.txt agar dapat memblokir halaman tersebut.
Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara defaultnya robot.txt seperti dibawah ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://multiajaib.blogspot.com/sitemap.xml
Pastinya anda akan bingung, apa sebenarnya arti-arti dari kode diatas, baiklah saya akan menjelaskannya satu-persatu.

Keterangan :
User-agent: Mediapartners-Google User agent milik Google menandakan bahwa blog ini adalah milik Google
Disallow Tidak diperbolehkan tidak ada
User-agent: * Semua Robot Search Engine
Disallow: /search Tidak diperbolehkan merayapi folder search dan seterusnya
Allow: / Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow.
Sitemap: http://multiajaib.blogspot.com/sitemap.xml Alamat feed blog/sitemap blog anda

Mungkin itu saja sedikit penjelasan tentang Apa fungsi dari Robot.txt semoga artikel ini bisa bermanfaat ya sobh...

Apa Fungsi Robot.txt Pada Blogger Rating: 4.5 Diposkan Oleh: Al Fikri

2 komentar:

  1. Kbetulan saya baru buat blogspot, jdi nambah pengetahuan tentang blog

    ReplyDelete
  2. mas saya nubi mau tanya, jadi itu yang sitemap tidak diindeks dong ya karena dimasukkan ke robot txt?

    ReplyDelete

Apa tanggapan anda tentang artikel diatas?