Soft 404, erişim engeli, rate limit, bakım ve gateway hatalarının tarama ile indeks kalıcılığı üzerindeki etkisini öğrenin.
Her tarama HTTP yanıtıyla başlar
İçerik ve backlinkler ancak sunucu sayfayı güvenilir biçimde teslim ettikten sonra anlam kazanır. Doğru status code, sayfanın mevcut, taşınmış, geçici olarak kapalı veya kalıcı olarak silinmiş olduğunu crawler’a açıklar.
404, 410 ve soft 404
404 bulunamadı, 410 kalıcı olarak kaldırıldı anlamı taşır. Gerçek bir karşılığı olmayan silinmiş URL’lerde kullanılabilir. Her eski URL’yi homepage’e yönlendirmek soft-404 davranışı ve kötü kullanıcı deneyimi oluşturur.
Soft 404 ise 200 dönüp “ürün bulunamadı”, boş profil veya anlamsız fallback göstermektir. Sunucu başarı, içerik hata dediği için arama motoru gerçek durumu tahmin etmek zorunda kalır.
401, 403 ve güvenlik katmanı
Login veya erişim engeli public taramayı durdurur. WAF, ülke kuralı, bot koruması ve süresi dolan imzalı URL’ler beklenmedik 403 üretebilir. Testi admin oturumu dışında ve farklı ağdan yapın. Güvenliği kapatmak yerine public içerik ile hassas endpoint’leri ayıran doğru kurallar yazın.
429 rate limit
Rate limit altyapıyı korur, ancak aşırı agresif 429 politikası crawl dalgasında sağlıklı siteyi erişilemez gösterebilir. Uygun Retry-After değeri verin, public sayfaları cache’leyin ve indeks gönderiminin host kapasitesiyle çakışıp çakışmadığını izleyin.
500, 502, 503 ve 504
- 500 uygulama hatasıdır.
- 502 upstream veya gateway problemidir.
- 503 geçici bakımda doğru Retry-After ile kullanılabilir.
- 504 upstream timeout anlamına gelir.
Kısa kesintiler olabilir; sürekli veya aralıklı hata crawl güvenini azaltır. Manuel kontrolde çalışan URL otomatik isteklerin yüzde 20’sinde hata veriyor olabilir.
İzleme ve kurtarma
Route, şablon ve user-agent bazında status oranı tutun. CDN, web server ve uygulama loglarını aynı zaman çizgisinde inceleyin. Dış kontrol yalnızca status değil beklenen içerik parçasını da doğrulasın.
Sorun sırasında büyük gönderimleri durdurun. Nedeni düzeltin, farklı ağlardan stabil 200 doğrulayın, sitemap ve canonical kayıtlarını temizleyin. Küçük örnek grup gönderip loglarda crawler dönüşünü izleyin; ancak stabil sonuçtan sonra ölçeği artırın.
Arama motoru crawler’ları hedef sunucunun erişilebilir olmasına bağlıdır. Tekrarlı keşif sinyalleri 5xx hatasını, firewall engelini veya soft 404 içeriği onaramaz. Bu nedenle sunucu güvenilirliği doğrudan SEO ve indeksleme konusudur.
Redirect kodu ve zinciri
Kalıcı taşımalarda kalıcı, gerçekten geçici durumlarda geçici redirect kullanın. Zinciri tek hopta tutun. Trailing slash, dil yolu ve protokol kurallarının loop oluşturmadığını doğrulayın.
Kısa bakımda makul Retry-After ile 503, 200 dönen hata ekranından daha açıklayıcıdır. Yanıtın bakım bittikten sonra cache’te kalmadığını kontrol edin.
Önemli route’lar için ayrı hata bütçesi tanımlayın. Genel uptime yeşil kalırken gelir üreten tek şablon 500 veriyor olabilir. Uygulama, proxy ve CDN loglarında aynı request ID’yi kullanmak hatayı katmanlar arasında izlemeyi kolaylaştırır.
Kurtarma sonrası dış monitörden canonical sayfa, sitemap ve robots isteyin; yalnızca status değil beklenen içerik parçasını doğrulayın. Sonra düzeltilmiş örnek grubu kontrol edin. Hedef site erişilemezken otomatik keşif çalışmalarını durdurmak güvenli varsayılandır.
Bu rehber, Index Grab editoryal ekibi tarafından kamuya açık arama motoru dokümantasyonu ve uygulanabilir teknik SEO kontrolleri kullanılarak hazırlanıp gözden geçirilmiştir. Ürün özellikleri ve fiyatlar yayın öncesinde güncel Index Grab arayüzünden doğrulanır.
Birincil kaynaklar: Google Search Central · Sitemaps.org · Schema.org