Robots.txt

Robots.txt itu berupa File dengan nama robots.txt.

Robots.txt ini sangat penting untuk SEO, hanya jika kita sudah mengerti strategi, dan teknikal SEO.

Untuk pemula, robots.txt sebenarnya tidak terlalu penting karena dengan berbagai bantuan tool seperti plugin SEO Rank Math, kita sudah sangat terbantukan untuk teknikal SEO.

Lalu apa sebenarnya gunanya Robots.txt? Robots.txt sangat berguna untuk mereka yang seperti saya sebutkan diatas, sudah mengerti alur strategi SEO.

Fungsi dari Robots.txt adalah memberikan sinyal ke Google halaman mana saja yang harus diindex, atau dilewatkan. Fungsinya sangat simpel, tapi penggunaannya harus benar-benar mengerti strategi SEO.

Contohnya, untuk website WooCommerce, udah wajib aturannya untuk mengnoindexkan halaman Checkout, Cart, dan My Account. Nah dengan menggunakan Robots.txt kita bisa setting agar Google tidak mengindex halaman tersebut.

Oh ya, robots.txt itu dapat diakses oleh siapa saja, dan kamu juga bisa mengakses robots.txt kompetitor atau web besar lainnya.

Caranya adalah tinggal ketik namadomainkompetitorkamu.com/robots.txt. Nah disana kita bisa meniru strategi SEO robots.txt kompetitor hahaha.