🤖 Apa Itu Fail Robots.txt & Kenapa Penting Untuk SEO?

Pernah masuk ke kedai yang ada papan tanda “Dilarang Masuk” atau “Staf Sahaja”? Dalam dunia laman web, papan tanda macam ni pun wujud — namanya fail robots.txt.

Fail ni kecil je, tapi besar pengaruh dia dalam SEO.

🔎 Apa Fungsi Fail Robots.txt?

Robots.txt ialah fail teks biasa yang terletak di akar domain, contoh:

https://www.namadomain.com/robots.txt

Ia berfungsi sebagai pengawal pintu untuk robot atau crawler (contohnya Googlebot). Dengan fail ni, kita boleh:

• Benarkan Googlebot akses halaman tertentu
• Sekat bahagian laman yang tak perlu diindeks
• Elak crawler membazir masa dan bandwidth

🧠 Analogi Mudah

Bayangkan laman web seperti sebuah pasaraya besar:

• Robots.txt = pengawal keselamatan
• Crawler (Googlebot) = pelanggan
• Aisle (laluan) dalam pasaraya = halaman web

Kalau ada kawasan stor belakang, kita letak papan tanda “Staf Sahaja”. Itu kerja robots.txt — bagi arahan: “Jangan masuk ke sini ya Google”.

✅ Kenapa Robots.txt Penting?

• Elak Paparan Kandungan Sensitif – seperti halaman login atau admin
• Kawal Crawler Budget – fokus hanya pada halaman penting
• Elak Duplicate Content – cegah indeks halaman parameter URL / carian dalaman
• Baiki Struktur SEO – hanya tampilkan halaman utama dan bernilai

🧾 Contoh Kod Robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /search
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.namadomain.com/sitemap_index.xml

Ini Contoh Robots.txt MazukiBlog:

# START YOAST BLOCK
# —————————
User-agent: *
Disallow:

Sitemap: https://mazukiblog.com/sitemap_index.xml
# —————————
# END YOAST BLOCK

💡 Maksud Baris Demi Baris:

User-agent: *

➡️ Arahan ini bermaksud: arahan berikut adalah untuk semua jenis bot (Googlebot, Bingbot, Yandexbot, dll.)

Disallow:

➡️ Bahagian ini kosong, jadi ia bermaksud: JANGAN SEKAT APA-APA.

Dalam erti kata lain:

“Wahai semua bot, anda dibenarkan untuk akses semua bahagian laman ini.”

Sitemap: https://mazukiblog.com/sitemap_index.xml

➡️ Ini memberitahu bot bahawa sitemap utama website terletak di URL tersebut.
Sitemap membantu bot menjelajah (crawl) laman web dengan lebih cepat dan tersusun.

📌 Perkara Penting Untuk Dielakkan

• ❌ Jangan sekat semua konten secara tak sengaja
• ❌ Jangan block CSS/JS penting
• ❌ Jangan harap robots.txt lindungi info sensitif – bukan sistem keselamatan

🔧 Macam Mana Nak Semak Robots.txt?

• Tambah /robots.txt di hujung URL domain
• Guna Google Search Console → Settings → Robots.txt Tester

🧠 Nota Ekstra: Robots.txt ≠ Noindex

Robots.txt hanya halang bot dari masuk. Tapi kalau nak halang Google dari paparkan dalam carian, guna tag:

<meta name="robots" content="noindex">

📚 Kesimpulan

Fail kecil, tapi kuasa besar.
Robots.txt bantu kita bagi arahan tepat pada Google tentang bahagian mana yang perlu diindeks & mana yang tak perlu.