Optimalisasi Cara Setting Robots.txt Blogger untuk SEO 2024
Minggu, 06 Oktober 2024
0
comments
Optimalisasi Cara Setting Robots.txt Blogger untuk SEO 2024
Pastikan untuk mengikuti petunjuk yang disediakan untuk memastikan situs web Anda terindeks dengan baik dan mendapatkan peringkat yang baik di hasil pencarian. Semua ini akan membantu meningkatkan visibilitas dan peringkat blog Anda di mesin telusur secara efektif.
Apa fungsi file robots.txt?
File robots.txt memberi tahu mesin telusur halaman mana yang boleh dan tidak boleh dirayapi. Ini memungkinkan kita untuk mengontrol perayapan semua spider web.
Dalam file robots.txt, kita dapat mengontrol aktivitas perayapan setiap agen pengguna dengan mengizinkan atau melarangnya. Kita juga dapat mendeklarasikan peta situs situs web kita untuk mesin telusur seperti Google, Bing, Yandex, dll. Sehingga mesin telusur ini dapat dengan mudah menemukan dan mengindeks konten kita.
Fungsi tag meta robot adalah untuk mengontrol pengindeksan tingkat halaman, yaitu halaman harus terlihat di hasil pencarian atau tidak.
Biasanya, kami menggunakan tag meta robot untuk mengindeks atau tidak mengindeks posting blog, halaman, dan konten web format lain di seluruh web.
Dan robots.txt untuk mengontrol bot mesin pencari. Anda dapat mengizinkan seluruh situs web untuk dirayapi, tetapi itu akan menghabiskan anggaran perayapan situs web. Untuk menghemat anggaran perayapan situs web, Anda harus memblokir bagian pencarian, arsip, dan label situs web.
Tag meta robot berada di tingkat halaman dan digunakan untuk memutuskan apakah halaman web harus terlihat di SERP. Selain itu, file yang disebut robots.txt membantu mengontrol bagaimana bot mesin pencari harus berperilaku di situs web.
Jika kami membiarkan bot bebas merayapi seluruh situs web kami, itu dapat menghabiskan banyak sumber daya. Untuk mengelola ini, kami dapat menggunakan robots.txt untuk memberi tahu bot agar tidak merayapi bagian tertentu, seperti bagian pencarian, arsip, dan label. Dengan cara ini, kami menghemat sumber daya dan memastikan bot fokus pada hal-hal penting di situs web kami.
File Robots.txt bawaan Blog Blogger.
Untuk mengoptimalkan file robots.txt untuk blog Blogger, pertama-tama kita perlu memahami struktur CMS dan menganalisis file robots.txt bawaan.
File robots.txt bawaan Blogger :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.namabloganda.com/sitemap.xml
Penjelasan :
- Baris pertama (User-Agent) dari berkas ini mendeklarasikan jenis bot. Di sini, jenis botnya adalah Google AdSense, yang tidak diizinkan untuk digunakan (dideklarasikan di baris ke-2). Itu berarti iklan AdSense dapat muncul di seluruh situs web.
- User agent berikut adalah *, yang berarti semua bot mesin pencari tidak diizinkan untuk mengakses halaman /search. Itu berarti melarang semua halaman pencarian dan label (struktur URL yang sama).
- Dan tag allow untuk menentukan bahwa semua halaman selain bagian yang tidak diizinkan dapat dijelajahi.
- Baris berikut berisi peta situs posting untuk blog Blogger.
Ini adalah berkas yang hampir sempurna untuk mengendalikan bot mesin pencari dan memberikan petunjuk untuk halaman yang akan dirayapi atau tidak dirayapi. Namun, berkas ini memungkinkan pengindeksan halaman arsip, yang dapat menyebabkan masalah konten duplikat. Artinya, berkas ini akan menghasilkan sampah untuk blog Blogger.
Baca juga : SEO off page , Penjelasan Lengkap dan Rahasianya
Mengoptimalkan File Robots.txt untuk Blog Blogger
Kita telah memahami cara kerja file robots.txt default untuk blog Blogger. Mari kita optimalkan untuk SEO terbaik.
Robots.txt default memungkinkan arsip untuk diindeks, yang menyebabkan masalah konten duplikat. Kita dapat mencegah masalah ini dengan menghentikan bot merayapi bagian arsip. Untuk ini, /search* akan menonaktifkan perayapan semua halaman pencarian dan label.
Menerapkan aturan Disallow /20* ke dalam file robots.txt akan menghentikan perayapan bagian arsip. Aturan /20* akan memblokir perayapan semua posting, jadi untuk menghindarinya, kita harus menerapkan aturan Allow baru untuk bagian /*.html yang memungkinkan bot merayapi posting dan halaman.
Peta situs default mencakup posting, bukan halaman. Jadi, Anda harus menambahkan peta situs untuk halaman yang terletak di :
https://namabloganda.blogspot.com/sitemap-pages.xml ,... atau https://namabloganda.com/sitemap-pages.xml untuk domain kustom.
Anda dapat mengirimkan peta situs Blogger ke Google Search Console untuk mendapatkan hasil yang baik.
Jadi, file robots.txt kustom baru yang sempurna untuk blog Blogger akan terlihat seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: * # to select all crawling bots and search engines
Disallow: /search* # to block all user generated query item within the website.
Disallow: /20* # this line will disallow archieve section of Blogger.
Disallow: /feeds* # this line will disallow feeds. Read instruction below
Allow: /*.html # allow all post and pages of the blog
#sitemap of the blog
Sitemap: https://www.namabloganda.com/sitemap.xml
Sitemap: https://www.namabloganda.com/sitemap-pages.xml
Penjelasan :
- /search* akan menonaktifkan perayapan semua halaman pencarian dan label.
- Terapkan aturan Disallow /20* ke dalam file robots.txt untuk menghentikan perayapan bagian arsip.
- Disallow: /feeds* aturan ini akan melarang perayap untuk merayapi bagian umpan. Namun jika Anda tidak membuat peta situs XML Blogger baru, jangan gunakan baris ini.
- Aturan /20* akan memblokir perayapan semua kiriman. Jadi untuk menghindarinya, kita harus menerapkan aturan Allow baru untuk bagian /*.html yang memungkinkan bot merayapi kiriman dan halaman.
Dalam berkas di atas, pengaturannya adalah praktik robots.txt terbaik untuk SEO. Ini akan menghemat anggaran perayapan situs web dan membantu blog Blogger muncul di hasil pencarian. Anda harus menulis konten yang ramah SEO agar muncul di hasil pencarian.
Efek di Search Engine Console setelah menerapkan aturan ini di robots.txt
Penting untuk dicatat bahwa Google Search Console dapat melaporkan bahwa beberapa halaman diblokir oleh file robots.txt Anda. Namun, penting untuk memeriksa halaman mana yang diblokir. Apakah halaman tersebut halaman konten atau halaman pencarian atau arsip? Kami tidak dapat menampilkan halaman pencarian dan arsip, itulah sebabnya halaman ini diblokir.
Namun jika Anda ingin mengizinkan bot untuk merayapi seluruh situs web, maka Anda harus mengonfigurasi tag meta robots dan file robots.txt sedemikian rupa sehingga.
- File robots.txt memungkinkan perayap untuk merayapi seluruh situs web.
- Tag Meta Robots melarang halaman yang tidak penting untuk diindeks.
Bagaimana cara menerapkan File Robots.txt ini ke Blogger?
Anda dapat mengakses file root seperti robots.txt di bagian pengaturan Blogger :
 |
| gbr : Setting Robot.txt di dashboard blogger |
- Buka Dasbor Blogger dan klik opsi pengaturan,
- Gulir ke bawah ke bagian perayap dan pengindeksan,
- Aktifkan robots.txt kustom dengan switch button .
- Klik robots.txt kustom ; lalu jendela akan terbuka. Copy text settingan untuk robots.txt yang telah di buat sebelumnya di notepad dan paste ke jendela tersebut .
Setelah memperbarui file robots.txt khusus untuk blog Blogger, Anda dapat memeriksa perubahan dengan mengunjungi domain Anda seperti https://www.namabloganda.com/robots.txt .
Kesimpulan.
Kami telah melakukan penelusuran terhadap fungsi file robots.txt dan berhasil membuat file robots.txt khusus yang optimal untuk blog Blogger.
Dalam pengaturan default file robots.txt, kami menemukan bahwa bagian arsip juga diizinkan untuk dirayapi, yang dapat mengakibatkan konten duplikat bagi mesin pencari. Kondisi ini dapat menyebabkan Google mengabaikan halaman-halaman yang Anda buat dalam hasil pencarian mereka.
Oleh karena itu, penting untuk memahami betul hal-hal yang diblokir dalam file robots.txt, agar situs Anda tetap dioptimalkan untuk hasil SEO yang maksimal.
Pahami pula bahwa Google Search Console dapat memberikan laporan terkait halaman yang diblokir, namun perlu pengertian yang lebih jelas mengenai halaman mana yang benar-benar diblokir dan alasan mengapa diblokir.
Sehingga, dengan pemahaman yang tepat, Anda dapat lebih efektif dalam mengoptimalkan situs Anda.
Semoga ada manfaatnya
Salam
TERIMA KASIH ATAS KUNJUNGAN SAUDARA
Judul: Optimalisasi Cara Setting Robots.txt Blogger untuk SEO 2024
Ditulis oleh irvan mulya
Rating Blog 5 dari 5
Semoga artikel ini bermanfaat bagi saudara. Jika ingin mengutip, baik itu sebagian atau keseluruhan dari isi artikel ini harap menyertakan link dofollow ke https://irvanmulya.blogspot.com/2024/10/optimalisasi-cara-setting-robotstxt.html. Terima kasih sudah singgah membaca artikel ini.Ditulis oleh irvan mulya
Rating Blog 5 dari 5
0 comments:
Posting Komentar
Blog ini saya setting ke Dofollow . Silahkan isi Komentar Anda dengan kalimat yang baik . Tidak berbau SARA dan anti Spam . Terima kasih sudah mengisi Komentar