Google’ın bildiği fakat henüz taramadığı URL’lerde sunucu sağlığı, crawl trap, tıklama derinliği ve şişmiş envanteri kontrol edin.
URL biliniyor ancak henüz taranmamış
Yeni sitelerde kısa gecikme normal olabilir. Binlerce önemli URL’de aynı durum görülüyorsa düşük crawl talebi, zayıf mimari, sunucu kapasitesi veya düşük değerli aşırı envanter araştırılmalıdır.
Crawl talebi sabit bir kota değildir. Arama motorları host sağlığı, güncelleme sıklığı, link sinyalleri, tekrar oranı ve taranan sayfalarda gördüğü değere göre ilgiyi ayarlar.
Önce sunucu sağlığı
Loglarda 429, 500, 502, 503 ve timeout oranlarını inceleyin. Ortalama yerine gecikme yüzdeliklerine bakın. Robots ve sitemap endpoint’leri hızlı çalışmalı; her istekte pahalı sorguyla dev sitemap üretmekten kaçının.
Crawl trap’leri bulun
Filtre kombinasyonları, takvimler, internal arama ve takip parametreleri sınırsız URL alanı oluşturabilir. Bot önemli sayfalar yerine düşük değerli kombinasyonlarla uğraşır. Loglardan parametre ve path kalıplarını çıkarın, gereksiz internal linkleri kaldırın ve canonical URL’leri baskın hale getirin.
Tıklama derinliğini azaltın
Önemli URL yalnızca sitemap içinde yaşamamalıdır. Kategori hub’ları, ilgili içerik linkleri ve crawl edilebilir pagination oluşturun. Linklerin render edilen HTML’de gerçek anchor olduğundan emin olun.
Yedi günlük plan
- Gün: Sunucu hata oranı, robots, sitemap ve şablon envanterini çıkarın.
- Gün: Bot loglarını ve boşa giden parametre isteklerini analiz edin.
- Gün: Öncelikli sayfaların click depth değerini düşürün.
- Gün: Eski ve kopya sitemap girişlerini temizleyin.
- Gün: En sorunlu şablonda canonical, içerik ve render hatasını düzeltin.
- Gün: Düzeltilmiş temsilci URL grubunu gönderin.
- Gün: Crawl aktivitesini ve sunucu sağlığını karşılaştırın.
Yeni domain, temiz teknik yapı ve özgün içerik varsa bazen beklemek doğrudur. Her gün aynı URL’leri göndermek ek değer yaratmayabilir. Tutarlı yayın ve bağlantılı mimari zamanla crawl talebini artırır.
Amaç crawler için taramayı kolay ve faydalı hale getirmektir. Sitemap ve hızlı gönderim envanteri duyurur; kalıcı crawl ilgisi ise stabil, ayrı ve iyi bağlanmış sayfalarla kazanılır.
Crawl israfını ölçün
Loglarda bot isteklerini status, parametre ve şablona göre gruplayın. Redirect, hata, kopya filtre ve yararlı canonical sayfalara giden istek oranını hesaplayın. Bu veri varsayımsal crawl budget sayısından daha değerlidir.
Yayın pipeline’ında minimum kalite eşiği oluşturun. Ürün; title, açıklama, durum, görsel ve kategori olmadan indexable hale gelmesin. Lokasyon sayfası yalnızca şehir adı değiştirilmiş şablon olarak sitemap’e girmesin.
URL’leri yayın haftası ve şablona göre cohort olarak izleyin. Keşiften ilk taramaya ve taramadan indeks seçimine geçen süreyi ölçün. Toplam excluded sayısı eski stok yüzünden büyük kalabilir; cohort yeni iyileştirmenin etkisini gösterir.
Şablon düzeldikten sonra tüm geçmiş URL’leri bir anda göndermeyin. Öncelikli kontrollü grup gönderip latency ve hata oranını izleyin. Stabil aşamalı kurtarma, yeni 429 ve 5xx dalgasından daha hızlıdır.
Bu rehber, Index Grab editoryal ekibi tarafından kamuya açık arama motoru dokümantasyonu ve uygulanabilir teknik SEO kontrolleri kullanılarak hazırlanıp gözden geçirilmiştir. Ürün özellikleri ve fiyatlar yayın öncesinde güncel Index Grab arayüzünden doğrulanır.
Birincil kaynaklar: Google Search Central · Sitemaps.org · Schema.org