User-Agent Nedir? Nasıl Değiştirilir?

User-agent (kullanıcı aracısı), bir tarayıcının veya botun web sunucusuna bağlanırken gönderdiği kimlik bilgisidir. Sunucuya “ben şu tarayıcıyım, şu işletim sisteminde çalışıyorum” veya “ben şu arama motorunun tarayıcısıyım” der.

Her HTTP isteğinin başlığında yer alır ve sunucunun içeriği nasıl sunacağına karar vermesinde kullanılabilir.

User-agent nasıl görünür?

Tipik bir tarayıcı user-agent dizesi uzun ve karmaşık görünür; tarayıcı adı, sürümü, işletim sistemi ve işleme motoru bilgilerini içerir. Tarihsel uyumluluk nedenleriyle birçok tarayıcı, kendini tanıtırken başka tarayıcıların adlarını da dizeye ekler; bu yüzden dizeyi okumak ilk bakışta kafa karıştırıcıdır.

Botların user-agent’ları ise genellikle daha nettir ve botun adını açıkça içerir. Googlebot, Bingbot ve yapay zekâ şirketlerinin tarayıcıları kendi adlarıyla tanınır.

SEO açısından neden önemli?

1. Googlebot’un sitenizi nasıl gördüğünü anlamak

Google, siteleri ağırlıklı olarak mobil tarayıcı kimliğiyle tarar. Sitenizin mobil kullanıcıya farklı, masaüstü kullanıcıya farklı içerik sunduğu durumlarda Google’ın hangi sürümü gördüğünü bilmek kritiktir. Mobil sürümde eksik olan içerik, değerlendirmeye girmez.

2. robots.txt kuralları

robots.txt dosyasındaki kurallar user-agent bazında yazılır. Belirli bir botu engellemek veya belirli bir bota izin vermek, bu kimlik bilgisine göre yapılır. Ayrıntısı robots.txt rehberimizde.

3. Gizleme (cloaking) riski

Arama motoru botlarına kullanıcılardan farklı içerik göstermek, Google’ın spam politikalarına açıkça aykırıdır. User-agent’a göre içerik değiştiren sistemler, farkında olmadan bu kuralı ihlal edebilir. Konunun tamamı Google cezaları yazımızda.

4. Sunucu kayıtlarını okumak

Sunucu erişim kayıtlarında user-agent bilgisi bulunur. Hangi botların sitenizi ne sıklıkla taradığını, hangi sayfalara yöneldiğini ve hata alıp almadığını bu kayıtlardan görebilirsiniz. Büyük sitelerde tarama bütçesi analizinin temelidir.

Sahte bot trafiği ve Googlebot doğrulama

User-agent bilgisi kolayca taklit edilebilir. Kötü niyetli tarayıcılar ve içerik kazıyıcılar, engellenmemek için kendilerini Googlebot olarak tanıtabilir.

Bir isteğin gerçekten Google’dan gelip gelmediğini doğrulamanın yolu, IP adresi üzerinden ters DNS sorgusu yapmaktır. Google ayrıca tarayıcılarının kullandığı IP aralıklarını yayımlar. Bot koruması kuran sunucularda bu doğrulama yapılmadan “Googlebot” yazan her isteğe izin vermek güvenlik açığı yaratır; tersine, gerçek Googlebot’u yanlışlıkla engellemek ise görünürlük kaybına yol açar.

Sunucu değişikliklerinde bu ikinci durum sık yaşanır; kontrol adımları için sunucu değişikliği kontrol listemize bakabilirsiniz.

Yapay zekâ tarayıcıları

Son yıllarda web’i tarayan botlara yenileri eklendi: dil modeli şirketlerinin eğitim verisi toplayan tarayıcıları ve yapay zekâ asistanlarının kullanıcı sorusuna cevap verirken sayfaları anlık okuyan ajanları. Bu botların çoğu kendi user-agent adlarıyla gelir ve robots.txt kurallarına uyduklarını beyan eder.

Site sahiplerinin karşısında yeni bir karar var: bu botlara izin vermek mi, engellemek mi? Görünürlük isteyen çoğu marka için engellemek, yapay zekâ cevaplarında kaynak gösterilme fırsatını kaybetmek anlamına geliyor. Konunun stratejik tarafını GEO rehberimizde, makinelere yönelik içerik bildirimini llms.txt yazımızda ele aldık.

Sunucu kayıtlarında bu botların ziyaretlerini ayrıca izlemek, yapay zekâ görünürlüğünüzün erken göstergelerinden biridir.

User-agent nasıl değiştirilir?

Test amacıyla tarayıcınızın user-agent’ını değiştirmek, sitenizin farklı cihaz ve botlara nasıl göründüğünü kontrol etmenin pratik yoludur.

Chrome geliştirici araçlarıyla

1. Geliştirici araçlarını açın.
2. Komut menüsünden “Network conditions” panelini açın.
3. “User agent” bölümünde otomatik seçimi kapatın.
4. Listeden bir kimlik seçin veya özel bir dize girin.
5. Sayfayı yenileyin.

Cihaz simülasyonu modu da mobil user-agent’ı otomatik olarak ayarlar. Geliştirici araçlarının diğer SEO kullanımlarını Chrome geliştirici araçları rehberimizde anlattık.

Firefox’ta

Duyarlı tasarım modu, farklı cihaz kimlikleriyle test yapmayı sağlar. Daha ileri kullanım için yapılandırma ayarlarından özel user-agent tanımlanabilir.

Komut satırından

Teknik ekipler için komut satırı araçlarıyla istek gönderirken user-agent başlığını belirlemek, sunucunun farklı kimliklere nasıl yanıt verdiğini hızlıca test etmenin yoludur.

Önemli not: user-agent değiştirmek Googlebot gibi görmek değildir

Tarayıcınızın kimliğini Googlebot olarak değiştirmek, sunucunun o kimliğe ne döndürdüğünü gösterir; ama Google’ın sayfayı nasıl işlediğini birebir göstermez. Çünkü Google farklı IP’lerden gelir, JavaScript’i kendi altyapısında işler ve bazı kaynakları farklı zamanlarda ister.

Google’ın sayfanızı gerçekte nasıl gördüğünü öğrenmenin en güvenilir yolu, Search Console’daki URL denetleme aracının canlı test özelliğidir. İşlenmiş HTML’i, ekran görüntüsünü ve yüklenemeyen kaynakları gösterir.

Sunucu kayıtlarında bot analizi

Büyük sitelerde sunucu kayıtlarını user-agent bazında analiz etmek, tarama davranışını anlamanın en doğrudan yoludur. Bu analizle şu sorular cevaplanır:

1. Googlebot sitenin hangi bölümlerine ne sıklıkla geliyor?
2. Taramanın ne kadarı değer üretmeyen parametreli adreslere gidiyor?
3. Botlar hangi sayfalarda hata alıyor?
4. Yeni yayımlanan içerikler ne kadar sürede taranıyor?
5. Hangi yapay zekâ tarayıcıları siteyi ziyaret ediyor?

İkinci sorunun cevabı genellikle şaşırtıcıdır: birçok sitede tarama bütçesinin önemli kısmı filtre ve sıralama parametrelerine harcanır. Bu tespit, robots.txt ve canonical düzenlemelerinin önceliğini belirler.

User-agent ve analitik verisi

Analitik araçları da user-agent bilgisini kullanarak cihaz, tarayıcı ve işletim sistemi kırılımı çıkarır. Bu veri, hangi cihazlarda dönüşüm sorunu yaşandığını görmek için değerlidir: belirli bir tarayıcıda dönüşüm oranı belirgin biçimde düşükse, genellikle o tarayıcıda çalışmayan bir form veya ödeme adımı vardır.

Ayrıca bot trafiğinin analitik verisine karışması, tüm metrikleri bozar. Bilinen botların filtrelenmesi analitik araçlarında genellikle varsayılan olarak açıktır; ancak sahte user-agent kullanan botlar bu filtreden geçebilir. Anormal trafik artışlarında user-agent kırılımına bakmak, sorunu hızla ortaya çıkarır.

Tarayıcıların user-agent’ı küçültmesi

Tarayıcılar, gizlilik gerekçesiyle user-agent dizesindeki ayrıntıları giderek azaltıyor. Ayrıntılı cihaz bilgisi artık varsayılan olarak gönderilmiyor; ihtiyaç duyan siteler bu bilgiyi ayrı ve izin temelli bir mekanizmayla istiyor.

Bu değişimin pratik sonucu şudur: user-agent’a dayanarak içerik sunan eski sistemler zamanla yanlış sonuç üretebilir. İçeriği cihaza göre ayırmak yerine duyarlı tasarım kullanmak, bu tür sorunların tamamını ortadan kaldırır.

Sık yapılan hatalar

1. User-agent’a göre farklı içerik sunmak. Gizleme riski yaratır ve duyarlı tasarımla gereksiz hâle gelir.
2. “Googlebot” yazan her isteğe güvenmek. Kazıyıcılar bu kimliği sıkça taklit eder.
3. Bot korumasında gerçek arama motorlarını engellemek. Görünürlük kaybı fark edilene kadar haftalar geçebilir.
4. Yapay zekâ botları hakkında bilinçsiz karar vermek. Engelleme veya izin, ticari hedefle uyumlu olmalıdır.
5. Test için yalnızca user-agent değiştirmek. Google’ın gerçek görünümü için canlı test şarttır.

Mobil öncelikli dizinlemede kontrol

Google siteleri mobil tarayıcı kimliğiyle değerlendirdiği için mobil ve masaüstü sürümlerin içerik açısından eşit olması gerekir. Hızlı bir kontrol yöntemi: tarayıcıda mobil kimliğe geçip önemli sayfaları inceleyin; menüde, sekmelerde veya açılır bölümlerde gizlenen içeriğin gerçekten sayfada bulunduğundan emin olun. Mobilde tamamen kaldırılan içerik değerlendirmeye girmez.

Kontrol listesi

Sunucu kayıtlarında Googlebot hatası var mı, bot koruması gerçek arama motorlarını engelliyor mu, robots.txt kuralları doğru user-agent’ı hedefliyor mu ve yapay zekâ botlarına dair karar bilinçli mi? Bu dört soru çeyrekte bir kontrol edilmelidir.

Özetle

User-agent, tarayıcı ve botların sunucuya kendini tanıttığı kimlik bilgisidir. SEO açısından Googlebot’un sitenizi nasıl gördüğünü anlamak, robots.txt kurallarını yazmak, gizleme riskinden kaçınmak ve sunucu kayıtlarını okumak için önemlidir. Kolayca taklit edilebildiği için bot doğrulaması IP üzerinden yapılmalı; Google’ın sayfayı gerçekte nasıl gördüğü ise user-agent değiştirerek değil, Search Console’un canlı testiyle kontrol edilmelidir.