Apa itu Robots.txt?
Secara sederhana, robots.txt merupakan file yang memberi tahu spider search engine untuk tidak merayapi website, halaman, atau bagian tertentu. Sebagian besar mesin pencari seperti Google, Bing, dan Yahoo mengenali dan mempertimbangkan permintaan dari file yang satu ini. Jadi Robots.txt dan SEO memiliki hubungan yang tidak bisa Anda pisahkan.
Mengapa Robots.txt Penting?
Sebagian besar website tidak memerlukan robots.txt. Itu karena Google biasanya dapat menemukan dan mengindeks semua hal yang penting di dalam suatu situs. Dan mereka secara otomatis tidak akan mengindeks halaman yang tidak penting atau menggandakan versi halaman yang lainnya. Namun, ada 3 alasan penting mempertimbangkan penggunaan robots.txt :
Block Non – Public Pages
Terkadang, Anda memiliki halaman website yang tidak ingin terindeks oleh mesin pencari. Misalkan saja halaman login. Halaman ini harus ada, tetapi Anda tidak ingin orang lain melacak halaman ini bukan? Maka Anda bisa menggunakan robots.txt untuk menghalang spider mengindeks halaman tersebut.
Memaksimalkan Crawl Budget
Jika Anda mengalami kesulitan untuk mengindeks semua halaman Anda, mungkin saja Anda mengalami masalah anggaran perayapan. Dengan memblokir halaman yang tidak penting menggunakan robots.txt, Googlebot sangat mungkin untuk menghabiskan biaya yang lebih banyak pada halaman yang memang benar benar penting.
Mencegah Indexing Of Resources
Menggunakan Meta Directives mungkin dapat berfungsi sebaik robots.txt untuk mencegah agar halaman tidak terindex Google. Namun meta directives tidak berfungsi dengan baik untuk sumber daya multimedia seperti PDF dan gambar. Di sinilah robots.txt berperan.
Bagaimana Cara Membuat Robots.txt
Jika Anda belum pernah membuat robots.txt dan SEO, membuat robots.txt sangatlah mudah. Anda hanya tinggal membuka blank dokumen dengan format .txt dan mulai untuk menulis “directives”. Misalkan Anda ingin disallow spider untuk mengindeks /admin/ directory maka penulisannya bisa :
User-agent: *
Disallow: /admin/
Terus buat sesuai keinginan dan kebutuhan Anda. Jika sudah save dengan format robots.txt. Selain membuatnya secara manual, Anda juga bisa membuatnya menggunakan generator.
Lantas, di mana untuk meletakkan file robots.txt?
Tempatkan file robots.txt Anda di directory root subdomain tempat yang ingin Anda terapkan. Misalkan saja untuk mengontrol crawling di domiananda.com maka robots.txt harus bisa Anda dan Seach Engine akses di domainanda.com/robots.txt .
Nah itulah serba sebi robots.txt dan SEO yang harus Anda ketahui. Anda bisa saja memanfaatkan file yang satu ini jika Anda membutuhkannya. Namun jika Anda menggunakan Jasa SEO Website Profesional, umumnya Anda tidak perlu bingung untuk memikirkan hal ini. Umumnya hal ini sudah penyedia jasa pikirkan. Namun, jika Anda mengelola website sendiri, Anda harus memperhatikan hal ini. Namun, jangan sampai salah. Salah dalam hal ini justru bisa berakibat fatal.
