Pentingnya File robots.txt dalam Search Engine Optimization / SEO

Pada panduan belajar SEO kali ini, saya akan membahas mengenai file Robots.txt.

Robots.txt adalah sebuah file yang sangat berperan dalam SEO yang berguna agar crawler atau spider dari Search Engine dapat meng-index sebuah website. Melalui file ini robot dari search engine mendapat izin file mana yang dapat diakses dan mana yang tidak.



Cara membuat file Robots.txt sangat mudah, tinggal ikuti 3 langkah mudah dibawah ini :

1.    Buka Notepad
2.    Lalu masukkan script

      User-agent: googlebot
      Disallow:
      User-agent: msnbot
      Disallow:
      User-agent: yahoo-slurp
      Disallow:
      User-agent: ia_archiver
      Disallow:
      User-agent: teoma
      Disallow:

        Kali ini saya hanya mengizinkan 5 top search engine yaitu Google, MSN, Yahoo, Alexa, Ask, anda bisa menambahkan atau menggantinya sesuai kebutuhan.

    

       Untuk script “Disallow :” anda bisa isi dengan “Disallow : /admin/”, maka robot dari search engine tidak diijinkan untuk mengakses folder admin pada website anda.

3.    Lalu save dengan nama robots.txt

Kemudian Upload lah file ini ke folder website anda, missalnya di www.panduanbelajarseo.com/robot.txt, langsung pada folder website publicnya yah.

Semoga bermanfaat yah.
Simak terus panduan belajar seo