# Sitemap dan Feed Deklarasi
# Memberi tahu crawler di mana menemukan peta situs dan RSS feed Anda.
Sitemap: https://blog.mhdarjunanta.info/sitemap.xml
Sitemap: https://blog.mhdarjunanta.info/feed.rss

# User-agent: * berarti aturan ini berlaku untuk SEMUA crawler web
User-agent: *

# Aturan Disallow: /admin/
# Melarang akses ke folder admin (ganti dengan folder admin Anda yang sebenarnya jika ada)
Disallow: /admin/

# Aturan Disallow: /private/
# Melarang akses ke folder private atau sensitif lainnya (sesuaikan)
# Disallow: /private/

# Aturan Disallow: /temp/
# Melarang akses ke folder sementara (sesuaikan)
# Disallow: /temp/

# Aturan Disallow: *.log$
# Melarang akses ke file .log
Disallow: *.log$

# Aturan Disallow: /*?
# Melarang akses ke URL dengan parameter query kecuali yang secara eksplisit diizinkan nanti (jika ada)
# Ini adalah aturan umum yang harus digunakan dengan hati-hati.
# Lebih baik membiarkan Googlebot menentukan URL kanonis atau menggunakan canonical tag di HTML.
# Disallow: /*?

# Aturan Allow: /
# Secara default, semua konten diizinkan kecuali yang secara eksplisit dilarang di atas.
# Ini opsional karena semua diizinkan secara default jika tidak ada Disallow yang cocok.
Allow: /