Jadi mari kita mulai panduan ini...
Contents
Apa itu Robots.txt?
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana.
Ini disimpan di situs web atau server blog yang menginstruksikan perayap web tentang cara mengindeks dan merayapi blog kamu dalam hasil pencarian.
Itu berarti kamu dapat membatasi halaman web di blog dari crawler web sehingga tidak bisa di indeks di mesin pencari seperti halaman label blog , halaman demo atau halaman lain yang tidak penting untuk di indeks.
Selalu ingat bahwa perayap pencarian memindai file robots.txt sebelum merayapi laman web mana pun.
Setiap blog yang dihosting di blogger memiliki file robots.txt default yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.malasngeblog.com/sitemap.xmlPenjelasan Kode Pada Robots.txt
Kode di atas dibagi menjadi tiga bagian. Pertama mari kita pelajari masing-masing setelah itu kita akan belajar cara menambahkan file robots.txt kustom di blog blogspot.
User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menampilkan iklan yang lebih baik di blog . Entah kamu menggunakan Google Adsense di blog atau tidak. biarkan begitu saja.
Disallow:
Yang tidak di bolehkan tidak ada.
Disallow: /search
Ini berarti tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.
https://www.malasngeblog.com/ search / label / SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya.
User-agent: *
Ini untuk semua robots yang ditandai dengan tanda bintang (*). Dalam pengaturan standar, tautan label blog kami dibatasi untuk diindeks oleh crawler pencarian yang berarti crawler web tidak akan mengindeks tautan halaman label.
Allow: /
Yang di ijinkan unutk di rayapi oleh robots.txt tanda / adalah blog kamu.
Sitemap:
Kode ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di sini kami hanya mengoptimalkan tingkat perayapan blog kami.
Berarti kapan pun perayap web memindai file robots.txt kami, mereka akan menemukan jalur ke sitemap kami tempat semua tautan pos yang kami terbitkan hadir.
Perayap web akan mudah merayapi semua postingan
Karenanya, ada peluang yang lebih baik bahwa perayap web merayapi semua posting blog kami tanpa mengabaikan satu pun..
Menambahkan Robots.Txt Default di Blogger
Sekarang bagian utama dari tutorial ini adalah bagaimana cara menambahkan custom robots.txt di blogger. Jadi di bawah ini adalah langkah untuk menambahkannya.
1. Login ke blogger kamu.
2. Pilih ke Pengaturan >> Preferensi Penelusuran ›› Perayap dan pengindeksan ›› Robots.txt khusus ›› Edit ›› Ya
4. Sekarang tempel kode file robots.txt di dalam kotak.
5. Klik tombol Simpan Perubahan.
6. Kamu selesai!
Di tutorial ini saya memakai robot.txt default saja jika ingin menggunkan file robot.txt yang sudah di modifikasi di bawah ini text nya.
Costume robots.txt Blogger yang Aman dan SEO Friendly
Untuk cara pemasangan sama saja dengan di atas.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blog-anda.blogspot.com/sitemap.xmlGanti sitemap dengan alamat blog kamu, robots.txt di atas memberikan perintah untuk tidak mengindek halaman about dan contact,
Cara Memeriksa File Robots.txt
Kamu dapat memeriksa file ini di blog dengan menambahkan /robots.txt di akhir URL blog kamu di browser web. Sebagai contoh:
https://www.malasngeblog.com/ robots.txtSetelah kamu mengunjungi URL file robots.txt akan melihat seluruh kode yang gunakan dalam file robots.txt kustom.
Lihat gambar di bawah ini..
Baca Juga : Setting Tag Tajuk Robot Khusus Blogger yang aman di blogger
Pastikan untuk tidak memasukkan kode apa pun di pengaturan robots.txt khusus kamu tanpa mengetahuinya. atau bisa bekomentar di postingan ini untuk bertanya tentang artikel ini.
Demikian untuk Cara Setting Robots.txt Default dan Custom Robots di Blogger semoga bermanfaat terimakasih.
