Apa itu Robots.txt dan Apa Keguanaannya?
Robot.txt yang kerap kali kita temui sebenarnya memiliki peran yang cukup penting untuk website kita. Pernahkan anda mencoba untuk melihat apa isi didalamnya? apakah anda pernah bertanya, apa sebenarnya fungsi dari file tersebut?. mari kita bahas mengenai apa itu file robot.txt dan apa sebenarnya perannya bagi website kita?
Pengertian
Robot.txt hanyalah sebuah file dengan format txt. Fungsi dari file ini adalah untuk memberikan instruksi kepada robot milik mesin pencarian, seperti google, bing, yahoo, dan lainnya terkait crawling. Bagian yang diinstruksikan adalah mengenai situs web bagian mana yang diperbolehkan oleh pengguna, agar robot dapat tahu kemana akan melakukan crawling. Peran dari dilakukannya pembatasan crawling, yang dilakukan oleh robot.txt, dapat dikatakan cukup besar, terutama dalam hal keamanan website.
File ini cukup penting untuk menjaga fisibilitas dari website kita terhadap robot yang diprogram untuk melakukan crawling. Dengan menjaga fisibilitas dari website, keamanan dari website pun juga ikut meningkat. Hal ini disebabkan karena file robot.txt dapat menginstruksikan kepada robot agar tidak melakukan crawling pada halaman tertentu. Halaman yang ingin kita hindarkan juga dapat kita atur agar hanya halaman tertentu yang tidak di index oleh mesin pencarian.
Konfigurasi
Umumnya file robot.txt ini ada di file manager website anda, anda perlu masuk ke file manager website anda terlebih dahulu. Sehingga apabila kita coba akses langsung melalui website anda, file robot.txt ini dapat terlihat. Contohnya apabila anda memiliki website dengan alamat website.com, maka apabila kita coba akses website.com/robot.txt, pengakses akan dapat menampilkan isi dari file tersebut. Apabila isi file tidak dapat tampil, ada kemungkinan bahwa file robot.txt masih belum dibuat.
Apabila kita coba akses file robot.txt yang isinya masih default, kita dapat lihat adanya beberapa baris perintah, seperti “user-agent: *” dan “disallow: ”. Kita bisa melakukan konfigurasi sederhana dengan menambahkan baris-baris kode tertentu file ini. Untuk melarang robot agar tidak melakukan indexing pada halaman tertentu, tambahkan halaman website di belakang “disallow : /”. Dengan melakukan hal tersebut robot akan menerima instruksi dan akan menghindari melakukan index pada halaman tersebut.
Kesimpulan
Meskipun hanya sebuah file berisi teks, fungsi dari robot.txt cukup memiliki penguruh di sisi keamanan pada sebuah website. Atau setidaknya dengan melakukan konfigurasi pada file robot.txt kita dapat menghindarkan website dari robot, agar robot tidak perlu mengindeks halaman yang tidak perlu di tampilkan secara luas. Dengan adanya robot.txt ini kita dapat mengatur fisibilitas dari halaman dan meningkatkan keamanan.
