Blogger memperkenalkan fitur search preferences, untuk mengatur beragam setting Optimasi SEO dengan cara On Page. Di antara yang sangat mutlak yaitu pengaturan/kostumisasi robots. txt. bukan hanya fitur lain dari search preferences tidak mutlak, tetapi segalanya telah dicover dengan hack yang jauh-jauh hari telah kita kerjakan, yakni dengan pemakaian meta tags, yang fungsinya sama serta hingga saat ini tambah lebih efisien.
Pada mulanya, bila mungkin ada dari Anda yang tetap kurang familiar dengan robots. txt, dapat saya berikan gambaran sedikit. Pemakaian robots. txt yaitu untuk berikan informasi pada robot crawler. Baik yang di punya oleh search engine, maupun aggregator, dan juga robot-robot pengindeks yang lain. Bahwa satu situs direktori atau file situs spesifik tidak bisa diindeks. Sebagai perumpamaan, apabila Anda tidak mau memiliki banyak halaman pada suatu situs ( contohnya about, label, sitemap, dan lain-lain ) diindeks oleh search engine. Maka anda bisa memakai perintah pada robots. txt supaya banyak halaman tersebut tidak diindeks. Maka pemakaian terpenting dari robots. txt yaitu untuk melarang yang tidak diizinkan.
Sebelum ada fitur robots. txt, kita memakai meta indeks untuk mengatur ini. Tetapi sesudah fitur custom robots. txt blogger diperkenalkan, kita bisa dengan gampang mengontrol pengindeks-an.
robots. txt pada prinsipnya diisi dua baris perintah, yang pertama yaitu identitas user agent ( crawler, dan juga robot perayap ), serta untuk kedua yaitu perintah pelarangan.
user-agent : *
disallow :
Perintah diatas diterjemahkan seperti berikut : user agent berisi sinyal bintang yang bermakna merujuk pada seluruh crawler, baik yang dipunya search engine ataupun yang lain, contohnya : feed agregator ( apalagi robot autoblog ). Namun disallow tidak diisi/kosong bermakna seluruh baik root direktori maupun sub direktori serta file bisa dibuka oleh crawler.
Bila pingin melarang crawler terhubung situs, maka kita berikan perintah dengan sinyal / ( slash ), yang bermakna robot crawler tidak bisa terhubung semua isi web/blog.
user-agent : *
disallow : /
Tetapi bila pingin melarang indeks pada direktori atau halaman spesifik, kita catatkan sinyal dan diikuti dengan nama direktorinya. Contohya jika Anda tidak mau crawler mengindeks seluruh halaman statis maka penulisannya yaitu :
user-agent : *
disallow : /p ( cocok dengan nama direktori halaman statis di blogger )
allow : /
allow : / ditambahkan untuk mengizinkan crawler dan mengizinkan root directory dan direktori lain, serta halaman lain untuk diindeks. Makna dari perintah diatas yaitu crawler bisa mengindeks semua jika halaman-halaman tersebut statis. Sesungguhnya allow : / tidak ditambahkan juga tidak masalah, tetapi untuk meyakinkan, Google memperkenalkan serta merekomendasikan perintah tersebut.
Bila pingin merujuk pada robot crawler punya se spesifik yang tidak bisa mengindeks, namun yang lain bisa. Anda mesti memberikan nama user-agentnya, pada baris lain. Perumpamaan ini dapat memakai googlebot, punya google.
user-agent : *
disallow :
user-agent : googlebot
disallow : /p
allow : /
Semoga penjelasan mengenai pengaruh custom robot.txt blogger terhadap SEO bisa bermanfaat buat anda semuanya. Dan saya mohon maaf apabila anda kurang memahaminya. Maka dari itu belajar SEO harus dimulai dari yang paling mudah dahulu.
