Büyük URL envanterlerini önceliklendirmek, crawl israfını azaltmak ve her sayfayı körlemesine göndermeden indeks kapsamını geliştirmek için teknik SEO rehberi.
Büyük sitelerde indeksleme sorunu çoğu zaman daha fazla URL göndererek çözülmez. Asıl konu hangi sayfaların taranmaya değer olduğunu belirlemek, önemli sayfaları teknik olarak tutarlı hale getirmek ve düşük değerli URL kombinasyonlarının crawler ilgisini tüketmesini önlemektir.
Doğru strateji hacimden önce envanter kalitesiyle başlar.
Güvenilir URL envanteri oluşturun
Canonical URL’leri CMS, veritabanı, internal crawl ve XML sitemap gibi birden fazla kaynaktan toplayın. Tek kaynağın eksiksiz olduğunu varsaymak yerine sonuçları karşılaştırın. Her URL’yi şablon, içerik türü, dil, HTTP durumu ve amacıyla sınıflandırın.
Bu envanter; indekslenebilir, yönlendirilmiş, eksik, kopya, engellenmiş veya bilinçli olarak dışarıda bırakılmış sayfaları ayırmalıdır.
Teşhisten önce segmentlere ayırın
Site geneli ortalamalar şablon sorunlarını gizler. Ürün, kategori, makale, lokasyon, filtre ve kullanıcı üretimi sayfaları ayrı inceleyin. Her grup için HTTP durumu, canonical tutarlılığı, internal link derinliği ve indeks kapsamını karşılaştırın.
Yalnızca bir şablonda sert düşüş varsa site genelinde değişiklik yapmak yerine o şablonun rendering, direktif ve içerik yapısını araştırın.
Sayfaları değerine göre önceliklendirin
Teknik olarak geçerli her URL eşit crawl ilgisini hak etmez. Açık arama talebine cevap veren, özgün bilgi sunan, anlamlı internal link alan ve sitenin ticari ya da editoryal amacını destekleyen sayfalara öncelik verin.
Boş filtreler, süresi geçmiş ilanlar, yakın kopyalar ve düşük değerli kombinasyonlar birleştirilmeli, geliştirilmeli veya arama dışında tutulmalıdır. Gürültüyü azaltmak çoğu zaman URL sayısını artırmaktan daha etkilidir.
Crawl trap alanlarını kontrol edin
Faceted navigation, sıralama parametreleri, takvim yolları ve site içi arama sayfaları neredeyse sonsuz URL alanı oluşturabilir. Linklerin nasıl üretildiğini inceleyin ve bağımsız arama değeri olmayan kombinasyonlara crawler girişini azaltın.
Canonical, noindex, robots kuralları ve link mimarisini doğru amaçla kullanın. Yalnız robots engeli kopyaları birleştirmez; canonical etiketi de sınırsız navigasyon yapısını tek başına çözmez.
Internal link yapısını bilinçli kurun
Önemli sayfalar, stabil merkezlerden normal HTML linkleriyle erişilebilir olmalıdır. Kategoriler, konu kümeleri, breadcrumb ve bağlamsal linklerle açık yollar oluşturun. Sitemap kaydını bir sayfanın tek keşif yöntemi haline getirmeyin.
Şablon bazında crawl derinliğini ve internal link sayısını ölçün. Değerli olmasına rağmen güçlü bir merkezden çok uzakta kalan sayfalar mimari iyileştirme gerektirir.
XML sitemap’leri teşhise uygun düzenleyin
Büyük envanteri anlamlı bölümlere karşılık gelen sitemap dosyalarına ayırın. Ürün, kategori, makale, görsel ve dil grupları ayrı izlenebilir. Yalnızca arama için hedeflenen canonical URL’leri ekleyin ve kaldırma davranışını içerik kaynağıyla eş zamanlı tutun.
Doğru gruplama, belirli bir şablondaki keşif düşüşünü veya sunucu hatasını daha kolay fark etmenizi sağlar.
Sunucu güvenilirliğini koruyun
Public sayfalar sık sık 429 veya 5xx döndürüyorsa indeksleme istikrarlı ilerlemez. Stabil içeriği cache’leyin, pahalı veritabanı sorgularını iyileştirin ve crawler trafiğinin ağır yönetim ya da arama endpoint’leriyle aynı kaynakları tüketmesini önleyin.
Yanıt süresi ile hata oranlarını şablon bazında izleyin. Site tarayıcıda normal görünürken yoğun dönemlerde crawler’lar aralıklı hata alabilir.
Crawler davranışını loglardan okuyun
Analytics insan ziyaretlerini, sunucu logları ise crawler’ın gerçekten hangi URL’leri istediğini gösterir. Hangi bölümlerin tarandığını, önemli sayfaların ne sıklıkta ziyaret edildiğini ve etkinliğin ne kadarının redirect, parametre veya hatalara gittiğini inceleyin.
Tek istek yerine zaman içindeki eğilime bakın. Kopya URL’lere giden crawl oranının yükselmesi genellikle internal link veya parametre kontrolü sorununa işaret eder.
Şablon kalitesini ölçekli geliştirin
Büyük bir sitede tek zayıf şablon binlerce düşük değerli sayfa üretebilir. Her indekslenebilir şablonda açık ana başlık, faydalı birincil içerik, doğru metadata, stabil canonical mantığı ve arama amacını karşılayan özgün bilgi bulunmalıdır.
Her sayfaya aynı genel paragrafı eklemek içerik kalitesini artırmaz. Tekrarlı boilerplate metin uzunluğunu büyütür ancak sayfaları birbirinden ayırmaz.
Büyük değişiklikleri aşamalı yayınlayın
Redirect, canonical, navigasyon veya rendering değişikliğini önce temsil gücü yüksek bir bölümde test edin. HTTP durumlarını, crawler erişimini ve coverage davranışını doğruladıktan sonra envanterin geri kalanına uygulayın.
Aşamalı yayın, geri dönüşü kolaylaştırır ve gizli bir şablon hatasının bütün siteyi etkilemesini önler.
Doğru sonuçları ölçün
Geçerli canonical sayfa sayısını, crawler hata oranını, internal link derinliğini, sitemap doğruluğunu ve indeks kapsamını bölüm bazında takip edin. İndekslenen sayfaların gerçekten değer üretip üretmediğini anlamak için impression ve landing page performansını da inceleyin.
Gönderilen veya keşfedilen URL sayısı yalnızca ara sinyaldir; sayfanın indekslendiğini, sıralama aldığını veya trafik ürettiğini kanıtlamaz.
Büyük site indeksleme kontrol listesi
- Birden fazla kaynaktan canonical envanter oluşturun.
- URL’leri şablon ve amaca göre segmentlere ayırın.
- Düşük değerli kombinasyonları kaldırın veya birleştirin.
- Öncelikli sayfalara giden internal linkleri güçlendirin.
- Sitemap’leri doğru ve teşhise uygun tutun.
- Crawler hareketlerini ve sunucu hatalarını izleyin.
- Şablon kalitesi ile direktif çelişkilerini düzeltin.
- Büyük teknik değişiklikleri örnek bir bölümde test edin.
- Günlük dalgalanma yerine coverage eğilimini değerlendirin.
- Her indekslenebilir bölümün hâlâ arama değeri sunup sunmadığını sorgulayın.
Sonuç
Ölçeklenebilir indeksleme, arama motorlarına daha küçük, temiz ve değerli bir URL kümesi sunma disiplinidir. Mimari, şablonlar, sitemap’ler ve sunucu performansı aynı hedefte birleştiğinde büyük envanterlerin taranması ve teşhisi kolaylaşır.
Bu rehber, Index Grab editoryal ekibi tarafından kamuya açık arama motoru dokümantasyonu ve uygulanabilir teknik SEO kontrolleri kullanılarak hazırlanıp gözden geçirilmiştir. Ürün özellikleri ve fiyatlar yayın öncesinde güncel Index Grab arayüzünden doğrulanır.
Birincil kaynaklar: Google Search Central · Sitemaps.org · Schema.org