XML sitemap memberi peta halaman penting kepada mesin pencari. Robots.txt mengatur bagian situs yang boleh dirayapi. Keduanya bekerja berpasangan, dan salah konfigurasi bisa membuat halaman bernilai tidak terindeks.
Dua File Kecil, Dampak yang Tidak Kecil

Mesin pencari punya waktu dan sumber daya terbatas untuk menjelajahi sebuah situs. Jatah itu sering disebut crawl budget. Pada situs kecil, masalahnya jarang terasa. Pada situs berisi ribuan halaman, jatah yang terbuang bisa menunda indeks halaman baru.
Bayangkan toko online dengan 10.000 produk. Setiap produk punya variasi warna, ukuran, dan filter harga. Tanpa panduan, crawler bisa menghabiskan waktu di halaman filter yang nyaris sama. Halaman produk baru justru terlambat ditemukan.
Cara Mesin Pencari Memanfaatkan Sitemap
XML sitemap adalah daftar URL yang ingin diindeks, lengkap dengan tanggal pembaruan. Google menyebut satu file sitemap maksimal berisi 50.000 URL atau berukuran 50 MB tanpa kompresi. Situs besar biasanya memecahnya menjadi beberapa file, lalu merangkumnya dalam satu sitemap index.
Tanggal pembaruan (lastmod) berguna bila akurat. Google mengabaikan atribut priority dan changefreq. Sitemap juga bukan jaminan indeks, melainkan petunjuk.
Robots.txt: Pagar yang Sering Salah Pasang
File robots.txt harus berada di direktori root domain, misalnya domain.com/robots.txt. Isinya berupa aturan Allow dan Disallow untuk setiap user-agent. Baris Sitemap di dalamnya membantu crawler menemukan lokasi peta situs.
Kesalahan paling umum adalah menganggap Disallow sama dengan menyembunyikan halaman. Halaman yang diblokir masih bisa muncul di hasil pencarian bila ada tautan mengarah ke sana. Untuk mencegah indeks, tag noindex lebih tepat. Namun crawler harus bisa membuka halaman itu agar tag tersebut terbaca.
Fungsi Keduanya Berbeda, Jangan Ditukar
Perbandingan berikut merangkum perbedaan paling mendasar.
|
Kriteria |
XML Sitemap |
Robots.txt |
|
Fungsi utama |
Menunjukkan halaman yang layak diindeks |
Mengatur area yang boleh dirayapi |
|
Sifat |
Petunjuk bagi crawler |
Arahan perayapan |
|
Lokasi |
Bebas, didaftarkan lewat Search Console atau robots.txt |
Wajib di root domain |
|
Risiko bila keliru |
Halaman penting terlambat ditemukan |
Seluruh situs bisa tak terjangkau crawler |
Kesalahan yang Berulang di Banyak Situs
Satu skenario klasik terjadi saat migrasi. Situs staging memakai aturan Disallow: / agar tidak terindeks. File itu ikut terunggah ke situs produksi. Beberapa minggu kemudian, trafik organik turun tanpa sebab yang jelas.
Situs yang dibangun dengan custom software menghadirkan risiko lain. Sistem sering menghasilkan URL dinamis dari parameter, sesi, atau filter. Tanpa pengaturan, URL duplikat itu ikut masuk sitemap. Akibatnya, sinyal halaman utama menjadi kabur.
Checklist Praktis Sebelum Situs Rilis
- Buka domain.com/robots.txt dan pastikan tidak ada Disallow: / di situs produksi.
- Masukkan hanya URL berstatus 200 dan kanonikal ke sitemap.
- Keluarkan halaman noindex, redirect, dan error 404 dari sitemap.
- Jangan blokir file CSS dan JavaScript yang dibutuhkan untuk merender halaman.
- Tambahkan baris Sitemap di robots.txt, lalu kirim juga lewat Google Search Console.
- Atur sitemap agar diperbarui otomatis saat halaman ditambah atau dihapus.
- Periksa laporan pengindeksan di Search Console setiap bulan.
Pertanyaan yang Sering Muncul
- Apakah semua website wajib memiliki sitemap?
Tidak wajib, tetapi sangat dianjurkan untuk situs berhalaman banyak atau sering berubah. - Apakah robots.txt bisa menghapus halaman dari hasil pencarian?
Tidak, karena robots.txt hanya mengatur perayapan dan bukan pengindeksan. - Seberapa sering sitemap perlu diperbarui?
Sebaiknya otomatis setiap ada halaman yang ditambah, diubah, atau dihapus.
Menjaga Indeks Tetap Sehat ke Depan
Peran sitemap dan robots.txt tetap penting seiring pencarian berbasis AI makin berkembang. Crawler membutuhkan petunjuk jelas tentang halaman mana yang layak dibaca. Pemeriksaan berkala membantu masalah ketahuan sebelum trafik telanjur turun. Untuk audit teknis semacam ini, Deus Code dapat menjadi rujukan profesional melalui layanan Jasa SEO Surabaya.




