Setting Robots.txt dan Custom Robots.txt pada Blogger

Setting Robots.txt dan Custom Robots.txt pada Blogger Jika kalian seorang blogger yang menggunakan platform Blogger, maka kalian mungkin ingin memastikan bahwa situs Anda terindeks dengan baik oleh mesin pencari seperti Google. Salah satu cara untuk mengontrol bagaimana mesin pencari mengindeks situs kalian adalah dengan menggunakan file robots.txt. Dalam artikel ini, kita akan membahas cara melakukan pengaturan file robots.txt untuk situs Blogger kalian. 

Apa itu robots.txt 

Robots.txt adalah sebuah file teks khusus yang diletakkan di direktori root sebuah situs web. File ini memberi instruksi kepada mesin pencari dan robot web lainnya tentang halaman mana yang boleh dan tidak boleh diindeks atau diakses. 

Dengan menggunakan file robots.txt, pemilik situs dapat mengontrol bagaimana robot web seperti crawler atau spider dari mesin pencari seperti Google, Bing, dan lainnya, berinteraksi dengan situs mereka. Ini memungkinkan untuk mengarahkan robot web untuk mengindeks halaman-halaman yang relevan dan mengabaikan halaman-halaman yang tidak perlu diindeks, seperti halaman administrasi atau halaman dengan konten duplikat. File robots.txt berisi aturan-aturan yang ditulis dalam format tertentu yang memberi tahu robot web tentang halaman-halaman mana yang diperbolehkan atau dilarang diakses. 

Meskipun file ini dapat membantu mengarahkan robot web, mereka tidak mencegah akses ke situs web secara fisik. Ini hanya memberikan instruksi kepada robot web tentang cara berinteraksi dengan situs. Semua blog yang dihosting di blogger mempunyai file robots.txt default yang tertera seperti di bawah ini:

User-agent: Mediapartners-Google 
Disallow: 
User-agent: * 
Disallow: /search 
Allow: / 
Sitemap: https://www.blogkamu.com/sitemap.xml 

 




Penjelasan Pada Kode Robot.txt 

Kode-kode tersebut yang tertera di atas dibagi atas beberapa bagian, yaitu: 

User-agent: Mediapartners-Google 

Kode tersebut ditujukan untuk robot Google Adsense untuk memudahkan mereka menayangkan iklan yang lebih baik di blog. Entah kalian menggunakan Adsense di blog atau biarkan seperti itu saja. 

Disallow: 

Ini bertujuan untuk yang tidak ingin dicrawl oleh robot google atau bahasa lainnya yang tidak diperbolehkan ada. 

Disallow: /search 

Kode ini bertujuan supaya link yang memiliki pencarian kata kunci setelah nama domain dikecualikan atau diabaikan. 

Sebagai contoh link halaman label SEO di bawah ini: 

https://www.vasitek.com/search/label/SEO 

Kalau kalian menghapus kode Disalow: /search maka perayap akan merayapi keseluruhan blog kalian untuk mengindeks semua konten postingan dan halamanya. 

User-agent: * 

Kode ini bertujuan untuk semua robots yang ditandai dengan tanda (*) di dalam pengaturan standar, link label blog dibatasi untuk diindeks oleh perayap mesin pencari, hal ini berarti perayap web tidak akan mengindeks link halaman label. 

Allow: / 

Artinya yang diijinkan untuk dirayapi oleh robots.txt dan pada tanda / adalah blog kalian. 

Sitemap: 

Mengacu pada sitemap atau peta situs blog kalian. Menambahkan link sitemap di sini akan mengoptimalkan tingkat perayapan mesin pencari. Hal ini berarti kapanpun perayap mesin pencari memindai file robots.txt, mereka akan menemukan link ke sitemap tempat semua link postingan yang diterbitkan di blog. 

Cara Menambahkan Robots.txt di Blogger 

Pertama-tama, masuklah ke akun Blogger kalian dan pilih blog yang ingin kalian atur file robots.txt-nya. Selanjutnya, buka pengaturan blog kalian dan temukan opsi "Pengaturan". Di bawah pengaturan ini, Kalian akan menemukan opsi "Pengaturan Pencarian". 

Kliklah opsi ini untuk melanjutkan. Setelah Anda masuk ke pengaturan pencarian, kalian akan melihat beberapa opsi yang berbeda. 

Salah satunya adalah opsi "Edit pengaturan" untuk "Pengaturan pengindeksan dan penguraian". 

Kliklah opsi ini untuk melanjutkan ke langkah berikutnya. Di sini kalian akan menemukan opsi untuk menambahkan kustom file robots.txt. 

Klik tombol "Ya" untuk mengaktifkannya. 

Setelah itu, kalian akan melihat kotak teks kosong di mana kalian dapat memasukkan aturan-aturan khusus untuk file robots.txt kalian. 

Pastikan untuk memasukkan aturan-aturan dengan hati-hati dan hati-hati, karena kesalahan dalam file robots.txt dapat berdampak pada cara mesin pencari mengindeks situs kalian. Kalian dapat menemukan panduan dan contoh aturan-aturan yang umum digunakan untuk file robots.txt di berbagai sumber online. 

Setelah kalian selesai memasukkan aturan-aturan kalian, jangan lupa untuk menyimpan perubahan. Setelah disimpan, file robots.txt kalian akan mulai berlaku untuk situs kalian, mengontrol cara mesin pencari mengindeksnya. 

Custom Robots.txt pada Blogger

Kalian dapat menambahkan file robots.txt secara custom dengan mengikuti kode di bawah ini:

User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Cara Cek File Robots.txt di Blogger 

Kalian dapat mengecek file robots.txt di blog kalian apakah sudah terpasang atau belum dengan cara mengetikkan url: 

https://blogkamu.com/robots.txt 

setelah itu kalian akan melihat kode robots.txt yang sudah dipasang sebelumnya pada blog kalian. 

Akhir kata 

Demikian pembahasan mengenai cara memasang robots.txt pada blogger. Semoga bermanfaat untuk kalian. Pastikan tidak menambahkan kode apapun di pengaturan robots.txt khusus tanpa mengetahui maksudnya agar tidak menjadi kesalahan yang fatal untuk blog kami. terima kasih sudah mengunjungi vasitek.com dan nantikan artikel selanjutnya.

Bagikan Artikel ini