Dalam salah satu posting saya sebelumnya saya telah membahas tentang Custom Robot Header Tag untuk blogger. Jika Anda telah membaca posting tersebut maka saya harap anda sadar dengan pentingnya Search Ranking. Pada postingan kali ini, saya akan membahas hal penting lainnya yaitu Robots.txt. Dalam blogger dikenal sebagai Custom Robots.txt. Dalam tutorial hari ini kita akan membahas tentang Custom Robots.txt untuk lebih mengetahui tentang penggunaan dan manfaat. Saya juga akan memberitahu Anda bagaimana untuk menambahkan file kustom robots.txt di blogger. Jadi mari mulai tutorial.
Apa Itu Robots.txt?
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. File terseut disimpan di website atau blog Server yang menginstruksikan web crawler untuk mengindeks dan merayapi blog Anda dalam hasil pencarian. Hal ini berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler yang menyebabkan tidak bisa terindeks di search engine seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan pengindeksan. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merayapi setiap halaman web.
Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:
Penjelasan
Kode ini dibagi menjadi tiga bagian. Mari pertama-tama kita pelajari masing-masing bagian tersebut, setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog.
User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka untuk melayani iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak hanya meninggalkan seperti itu.
Ini adalah untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian, hal itu berarti web crawler tidak akan mengindeks link halaman label kita karena kode di bawah ini.
Hal tersebut berarti link yang memiliki kata kunci pencarian setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.
"http://www.andichandrasa.blogspot.com/search/label/SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merayapi semua halaman konten dan web.
Berikut Allow: / mengacu pada Homepage yang berarti web crawler dapat merayapi dan mengindeks situs blog Anda.
Disallow Particular Post
Sekarang jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan kode dibawah ini.
Disallow: /yyyy/mm/post-url.html
yyyy dan mm tersebut mengacu pada tahun dan bulan penerbitan postingan masing-masing. Misalnya jika kita telah menerbitkan sebuah postingan pada tahun 2015 di bulan Maret maka kita harus menggunakan format yang di bawah.
Disallow: /2015/03/post-url.html
Untuk membuat tugas ini mudah, Anda hanya dapat menyalin URL pos dan menghapus nama blog dari awal.
Disallow Particular Page
Jika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog seperti contoh ini:
Disallow: /p/page-url.html
Sitemap: http://andichandrasa.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link di sitemap kita hanya mengoptimalkan tingkat Crawler blog Anda. Berarti setiap kali web crawler memindai file robots.txt kita, mereka akan menemukan jalur menuju sitemap kita di mana semua link dari postingan yang kita publish berada. Web crawler akan merasa mudah untuk merayapi semua postingan kita. Oleh karena itu, ada kemungkinan bahwa web crawler merayapi semua postingan blog kita tanpa mengabaikan satu pun.
Catatan: sitemap ini hanya akan memberitahu web crawler tentang 25 postingan baru. Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda kemudian mengganti sitemap standar dengan contoh dibawah ini, maka akan bekerja untuk 500 postingan terbaru.
Sitemap: http://andichandrasa.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Anda memiliki lebih dari 500 postingan yang diterbitkan di blog Anda, maka Anda dapat menggunakan dua sitemap seperti di bawah ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Memasukkan Custom Robots.Txt Kedalam Blog
Bagian utama dari tutorial ini adalah bagaimana menambahkan Custom Robots.txt di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.
- Masuk ke akun blogger anda.
- Masuk ke Menu Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
- Sekarang paste kode file robots.txt Anda pada kotak.
- Klik tombol "Save Changes"
- Selesai
Bagaimana Mengecek Files Robots.txt Anda?
Anda dapat memeriksa file ini di blog Anda dengan menambahkan robots.txt dibelakang ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk demo.
http://www.andichandrasa.blogspot.com/robots.txt
Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file custom robots.txt Anda. Lihat gambar dibawah ini.
Akhir Kata!
Artikel diatas adalah tutorial lengkap hari ini tentang cara menambahkan file custom robots.txt di blogger. Saya berusaha menyampaikan isi dari artikel tersebut secara sederhana dan semudah mungkin dapat dimengerti oleh para pembaca. Jangan menaruh kode di pengaturan custom robots.txt Anda tanpa mengetahui mengenai hal tersebut. Thanks guys untuk membaca tutorial ini. Jika Anda suka maka silakan mendukung saya untuk menyebarkan artikel saya dengan berbagi posting ini di profil media sosial Anda. Happy Blogging !.