Apa Itu robots.txt?

robots.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau protokol robots.txt adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk di index.

Fungsi robots.txt

robots.txt berfungsi untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter

Pengaruh robots.txt

Dengan mengganti aturan bawaan dasar pengaturan robots.txt , maka hal ini membuat artikel yang kita upload menjadi lebih SEO friendly. Karena Dengan mengganti robots.txt bawaan blogger, Kita bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak boleh.

Cara Ubah robots.txt Di Blogger

Berikut cara mengganti kode robots.txt bawaan blogger.

Login ke akun blogger anda
Klik Setelan
Scroll kebawah, cari Crawler dan pengindeksan
Klik Aktifkan robots.txt kustom
Dan klik bagian robots.txt kustom

Setting robots.txt

Setelah memahami dan mengetahui cara ubah robots.txt pada blogger, saat nya untuk kustom kode robots.txt, berikut ini!

robots.txt Default Blogger
Sebenarnya settingan default robots.txt blogger sudah lumayan aman untuk penggunaan blog sesuai dengan yang sering digunakan banyak orang. Berikut kode nya:
```
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.prinsh.com/sitemap.xml
```

Custom robots.txt Paling Aman

Jika anda ingin agar halaman seperti disclaimer, privacy, about, atau halaman lainnya yang tidak ingin diindeks mesin pencari, silakan gunakan kode robots.txt kustom paling aman dibawah ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: https://www.prinsh.com/atom.xml?redirect=false&start-index=1&max-results=500

Bantu berikan donasi jika artikelnya dirasa bermanfaat Anda dapat berkontribusi dengan mengeklik tautan di bawah ini:

Donasi Sekarang

Cara Kustom robots.txt SEO Friendly Untuk Blogger