Üç farklı kontrolün görevini, riskli kombinasyonları ve hangi durumda yönlendirme, noindex, robots veya canonical kullanılması gerektiğini öğrenin.
Üç araç aynı işi yapmaz
Robots.txt tarama erişimini yönetir. Noindex, sayfanın indeks içinde tutulmamasını ister. Canonical ise birbirine çok benzeyen URL’ler arasında tercih edilen temsilciyi bildirir. Bunları aynı amaçla kullanmak çelişkili sinyaller oluşturabilir.
Robots.txt taramayı sınırlar
Disallow kuralı crawler’ın bir yolu istemesini engelleyebilir. Sonsuz filtre kombinasyonları ve iç arama sayfaları gibi crawl trap alanlarında faydalıdır. Fakat URL’nin arama sonuçlarından kesin olarak kaldırılmasını sağlamaz. Dış veya internal linkler sayesinde URL biliniyor olabilir.
Robots ile engellenmiş sayfaya noindex koymak özellikle risklidir. Bot HTML’i okuyamadığı için noindex talimatını göremeyebilir.
Noindex indeks uygunluğunu değiştirir
Noindex, HTML meta etiketi veya HTTP X-Robots-Tag header ile iletilebilir. Hesap yardımcı sayfaları, düşük değerli sonuç sayfaları veya indekslenmesi istenmeyen arşivlerde kullanılır. Botun talimatı görebilmesi için sayfayı tarayabilmesi gerekir.
Kaynak kodu kadar gerçek production yanıtını inceleyin. CDN, güvenlik katmanı veya CMS eklentisi beklenmedik header ekleyebilir.
Canonical bir birleştirme sinyalidir
Canonical; takip parametreleri, yazdırma sürümleri veya çok benzer ürün varyasyonlarında tercih edilen URL’yi gösterir. Redirect değildir ve gereksiz URL üretimini tek başına çözmez. Sitemap, internal link, redirect ve hreflang sinyalleriyle aynı yönü göstermelidir.
Riskli kombinasyonlar
- Robots engeli + noindex: noindex görülemeyebilir.
- Noindex + başka URL’ye canonical: dışlama ve birleştirme talebi çelişebilir.
- Canonical zinciri: A, B’ye; B, C’ye gidiyorsa sinyali doğrudan C’ye yöneltin.
- Redirect URL’yi sitemap’te tutmak: sitemap’e nihai canonical URL’yi yazın.
Karar verme sırası
- Kullanıcı ve bot kalıcı olarak başka URL’ye gitmeli mi? Redirect kullanın.
- Sayfa erişilebilir kalacak ancak aramada görünmeyecek mi? Crawl’a izin verip noindex kullanın.
- Birden fazla URL aynı içeriği mi temsil ediyor? Bir canonical seçip tüm sinyalleri hizalayın.
- Yol gerçek bir crawl trap mi? İndeks durumu çözüldükten sonra robots kuralını değerlendirin.
Gönderimden önce response header, rendered meta, canonical, robots ve sitemap üyeliğini birlikte kontrol edin. Hızlı indeks gönderimi çelişkili direktifleri çözmez; yalnızca crawler’ın URL’ye daha erken ulaşmasına yardımcı olabilir.
En güvenli yapı şudur: indekslenmesini istediğiniz URL 200 döner, crawl edilebilir, kendine canonical verir, önemliyse sitemap’te bulunur ve internal link alır. Alternatif URL’lerin her biri için de tek ve açık bir davranış belirlenir.
HTTP header kontrollerini unutmayın
PDF ve görsel gibi HTML olmayan dosyalarda X-Robots-Tag kullanılabilir. Aynı kural yanlış dizin veya CDN seviyesinde normal sayfalara da uygulanabilir. Birden fazla URL türünde gerçek response header’ları karşılaştırın.
JavaScript’in canonical değerini sonradan değiştirmesine güvenmeyin. Temel indeks direktiflerini mümkün olduğunca server-rendered HTML içinde stabil üretin.
Kaldırma işlemi bir sıralamadır
Sayfa erişilebilir kalacak fakat aramadan çıkacaksa botun noindex’i görebilmesi için crawl’a izin verin. İçerik kalıcı silindiyse 404/410, taşındıysa ilgili hedefe redirect kullanın. Geçici kaldırma araçları hızlı gizleme sağlayabilir ancak URL davranışının kalıcı çözümü yine sunucuda yapılmalıdır.
Her URL için status, robots, meta/header robots, canonical, sitemap, hreflang, internal link ve redirect hedefini tek satırda karşılaştırın. Amaç bütün direktifleri kullanmak değil; istenen davranışı en az ve çelişkisiz sinyalle anlatmaktır.
Bu rehber, Index Grab editoryal ekibi tarafından kamuya açık arama motoru dokümantasyonu ve uygulanabilir teknik SEO kontrolleri kullanılarak hazırlanıp gözden geçirilmiştir. Ürün özellikleri ve fiyatlar yayın öncesinde güncel Index Grab arayüzünden doğrulanır.
Birincil kaynaklar: Google Search Central · Sitemaps.org · Schema.org