Robots.txt ve SEO

Nizam-ı Alem · 6 Haz 2025

Robots.txt, web sitenizin arama motoru sonuç sayfalarındaki (SERP) kaderini belirleyebilecek basit ama önemli bir dosyadır.

Robots.txt hataları, bir SEO denetim raporunda genellikle bulabileceğiniz en yaygın SEO hataları arasındadır . Aslında, en deneyimli SEO profesyonelleri bile robots.txt hatalarına karşı hassastır.

Bu yüzden robots.txt dosyasının nasıl çalıştığına dair daha derin bir anlayışa sahip olmak önemlidir.

Temelleri anladığınızda, arama motorlarının sayfalarınızı taramasını ve dizine eklemesini kolaylaştıran mükemmel robots.txt dosyasını oluşturabileceksiniz.

Bu rehberde şunları ele alacağız:

Robots.txt nedir?
Robots.txt neden önemlidir?
Robots.txt dosyanızı nasıl bulabilirsiniz?
Robots.txt sözdizimi
Robots.txt dosyası nasıl oluşturulur
Robots.txt dosyanızın çalışıp çalışmadığını nasıl kontrol edersiniz
Robots.txt en iyi uygulamaları

Bu yazının sonunda web siteniz için SEO'ya uygun bir robots.txt dosyasına sahip olacaksınız.

Robots.txt nedir?

Robots.txt, web sitesi sahipleri tarafından oluşturulan ve arama motorlarına web sitenizdeki sayfaları nasıl tarayacakları konusunda talimat veren bir metin dosyasıdır. Başka bir deyişle, bir robots.txt dosyası arama motorlarına sitenizde nereye gidebileceğini ve nereye gidemeyeceğini söyler.

Google'a göre :

Robots.txt dosyası öncelikle sitenize gelen tarayıcı trafiğini yönetmek ve dosya türüne bağlı olarak genellikle bir sayfayı Google'dan uzak tutmak için kullanılır.

Örneğin, sitenizde Google'ın dizine eklemesini istemediğiniz belirli bir sayfa varsa, Googlebot'un (Google'ın web tarayıcısı) o sayfayı taramasını engellemek için robots.txt dosyasını kullanabilirsiniz.

Robots.txt Neden Önemlidir?

Yaygın inanışın aksine, robots.txt dosyasının tüm web siteleri için gerekli olduğu söylenemez.

Eğer web siteniz çok az sayfadan oluşuyorsa, web siteniz için bir robots.txt dosyası oluşturmanıza gerek yoktur.

Google, sitenizde hangi sayfaların dizine ekleneceğini ve hangilerinin göz ardı edileceğini öğrenecek kadar gelişti.

Bununla birlikte, küçük bir web siteniz olsa bile, robots.txt dosyası bulundurmak genellikle SEO açısından en iyi uygulamadır.

Neden?

Çünkü web tarayıcılarının hangi sayfaları dizine eklemesini istediğiniz konusunda size daha fazla kontrol sağlar.

Web siteniz için bir robots.txt dosyası oluşturmak istemenizin 5 ana nedenini daha yakından inceleyelim:

Özel sayfaları arama motoru tarayıcılarından engelleyin: Web sitenizdeki özel sayfaları engellemek için robots.txt kullanabilirsiniz. Sitenizdeki giriş sayfanız veya sayfaların aşamalı sürümleri genel halk tarafından erişilemez olmalıdır. İşte burada robots.txt kullanarak diğer kişilerin bu sayfalara girmesini önleyebilirsiniz.
Tarama bütçenizi optimize edin: Tarama bütçesi, Googlebot'un belirli bir günde tarayacağı sayfa sayısıdır. Tüm önemli sayfaların dizine eklenmesinde sorun yaşıyorsanız, bir tarama bütçesi sorunuyla karşı karşıya olabilirsiniz. Bu, önemsiz sayfalara erişimi engelleyerek tarama bütçenizi optimize etmek için robots.txt'yi kullanabileceğiniz bir durumdur.
Yinelenen içeriğin taranmasını önleyin: Aynı içerik birden fazla sayfada görünüyorsa, SERP'lerde yinelenen sayfaların sıralanmasını önlemek için robots.txt kullanabilirsiniz. Bu, e-ticaret web sitelerinin karşılaştığı yaygın bir sorundur ve robots.txt dosyanıza basit yönergeler ekleyerek kolayca önlenebilir.
Kaynak dosyalarının SERP'lerde görünmesini önleyin: Robots.txt, PDF'ler, resimler ve videolar gibi kaynak dosyalarının indekslenmesini önlemenize yardımcı olabilir.
Sunucu aşırı yüklenmesini önleyin: Sitenizin isteklerle aşırı yüklenmesini önlemek için robots.txt dosyasını kullanarak bir tarama gecikmesi belirtebilirsiniz.

Robots.txt Dosyanızı Nasıl Bulursunuz

Eğer halihazırda bir robots.txt dosyanız varsa, onu bulmak çok kolaydır.

Tarayıcınıza sitenizinadı.com/robots.txt yazın . Sitenizde bir robots.txt dosyası varsa, aşağıdaki gibi görünmelidir:

Sitenizde robots.txt dosyası yoksa boş bir sayfayla karşılaşırsınız.

Robots.txt Sözdizimi

Bir robots.txt dosyası oluşturmadan önce, bir robots.txt dosyasında kullanılan sözdizimine aşina olmanız gerekir. Robots.txt dosyanızda fark edeceğiniz en yaygın 4 bileşen şunlardır:

Kullanıcı aracısı: Bu, tarama talimatlarını verdiğiniz web tarayıcısının adıdır. Her arama motorunun farklı bir kullanıcı aracısı adı vardır. Örn: Googlebot, Google'ın kullanıcı aracısı adıdır.
İzin Verme: Bu, bir kullanıcı aracısına belirli bir URL'yi taramaması talimatını vermek için kullanılan yönergedir.
İzin Ver: Bu yönerge, bir kullanıcı aracısına, üst sayfası yasaklanmış olsa bile bir sayfayı taramasını talimat vermek için kullanılır.
Site Haritası: Bu, XML site haritanızın arama motorlarına konumunu belirtmek için kullanılan yönergedir .

Robots.txt Dosyası Nasıl Oluşturulur

Sitenizde bir robots.txt dosyası yoksa, bir tane oluşturmak kolaydır. Robots.txt dosyası oluşturmak için herhangi bir metin düzenleyicisini kullanabilirsiniz.

Mac kullanıyorsanız, TextEdit uygulamasını kullanarak robots.txt dosyanızı oluşturabilirsiniz.

Metin belgesini açın ve yönergeleri yazmaya başlayın.

Örneğin, Google'ın tüm sayfalarınızı dizine eklemesini ve yalnızca yönetici sayfasını gizlemesini istiyorsanız, aşağıdaki gibi görünen bir robots.txt dosyası oluşturun:

Kullanıcı aracısı: *
İzin verilmeyenler: /wp-admin/

Tüm yönergeleri yazmayı bitirdiğinizde dosyayı "robots.txt" olarak kaydedin.

Robots.txt dosyanızı oluşturmak için SEOptimer'in ücretsiz robots.txt oluşturucusunu da kullanabilirsiniz .

Robots.txt dosyanızı oluştururken herhangi bir sözdizimi hatası yapmaktan kaçınmak istiyorsanız, bir robots.txt oluşturucusu kullanmanızı şiddetle tavsiye ederim. Küçük bir sözdizimi hatası bile sitenizi dizinden çıkarabilir, bu yüzden robots.txt dosyanızın düzgün ayarlandığından emin olun.

Robots.txt dosyanız hazır olduğunda onu web sitenizin kök dizinine yükleyin.

Metin dosyasını etki alanının kök dizinine yerleştirmek için Filezilla gibi bir FTP istemcisi kullanın . Örneğin, yoursitename.com'un robots.txt dosyası yoursitename.com/robots.txt adresinden erişilebilir olmalıdır .

Robots.txt Dosyanızın Çalışıp Çalışmadığını Nasıl Kontrol Edersiniz

Robots.txt dosyanızı kök dizininize yükledikten sonra, Google Search Console'daki robots.txt Tester'ı kullanarak doğrulayabilirsiniz .

Robots.txt Tester aracı robots.txt'nizin düzgün çalışıp çalışmadığını kontrol edecektir. Robots.txt'nizde herhangi bir URL'nin taranmasını engellediyseniz, Tester aracı belirli URL'lerin gerçekten web tarayıcıları tarafından engellenip engellenmediğini doğrulayacaktır.

Şimdi, robots.txt dosyanızın bir kez doğrulanması, sonsuza kadar hatasız olacağı anlamına gelmiyor.

Robots.txt hataları oldukça yaygındır. Kötü yapılandırılmış bir robots.txt dosyası sitenizin taranabilirliğini etkileyebilir. Bu nedenle sorunlara karşı dikkatli olmanız ve robots.txt dosyanızın herhangi bir hata içermediğinden emin olmanız gerekir.

Robots.txt dosyanızda sorun olup olmadığını kontrol etmenin en etkili yolu Google Search Console'u kullanmaktır. Google Search Console hesabınıza giriş yapın ve "Dizin" bölümündeki "Kapsam" raporuna gidin.

Robots.txt dosyanızla ilgili herhangi bir hata ve uyarı varsa bunları "Kapsam" raporunda bulabilirsiniz.

Robots.txt dosyanızı hatalara karşı denetlemek için SEMrush gibi bir araç da kullanabilirsiniz .

Eğer aktif bir hesabınız varsaSEMrushAbonelik, sitenizin teknik SEO sağlığını korumak ve robots.txt hatalarını belirleyip düzeltmek için sitenizde düzenli site denetimleri çalıştırın .

Robots.txt dosyanızda hata olup olmadığını kontrol etmek için en son site denetimi genel bakış raporunuzu ziyaret edin ve " Robots.txt Güncellemeleri" widget'ını arayın. SEMrushBot'un robots.txt dosyanızı tarayıp tarayamadığını göreceksiniz.

Robots.txt dosyasında herhangi bir değişiklik yaptıysanız,SEMrushSon tarama işleminden bu yana yapılan değişikliklerin sayısını görüntüler.

Daha da önemlisi,SEMrushAyrıca robots.txt dosyalarınızdaki sorunları vurgulayacak ve web sitenizin taranabilirliğini ve dizine eklenebilirliğini iyileştirmek için bunları nasıl düzeltebileceğinize dair önerilerde bulunacağız.

Yan not: SEMrushteknik SEO analizinden daha fazlasında size yardımcı olabilecek güçlü bir SEO yazılımıdır . Anahtar kelime araştırması , geri bağlantı analizi, rakip araştırması ve çok daha fazlasını gerçekleştirmek için kullanabilirsiniz .

Robots.txt En İyi Uygulamalar

Artık robots.txt'nin temellerini öğrendiğinize göre, izlemeniz gereken en iyi uygulamalardan bazılarını kısaca inceleyelim:

1. Robots.txt büyük/küçük harfe duyarlıdır

Robots.txt dosya adı büyük/küçük harfe duyarlıdır. Bu nedenle dosyanın adının "robots.txt" olduğundan emin olun (robots.TXT, ROBOTS.TXT, Robots.Txt, vb. değil)

2. Robots.txt Dosyasını Ana Dizin'e Yerleştirin

Robots.txt dosyanız sitenizin ana dizinine yerleştirilmelidir. Robots.txt dosyanız bir alt dizine yerleştirilirse bulunmayacaktır.

Kötü:

sitenizinadı.com/sayfa/robots.txt

İyi:

sitenizinadı.com/robots.txt

3. Arama Motorlarının Web Sitenizi Nasıl Tarayacağını Kontrol Etmek İçin Joker Karakterler Kullanın

Robots.txt dosyanızda kullanabileceğiniz iki joker karakter vardır — (*) joker karakteri ve ($) joker karakteri. Bu robots.txt joker karakterlerinin kullanımı , arama motorlarının web sitenizi nasıl taradığını kontrol etmenize yardımcı olur.

**(*) Joker karakter**

Robots.txt dosyanızda tüm kullanıcı aracılarına (arama motorları) hitap etmek için (*) joker karakterini kullanabilirsiniz. Örneğin, tüm arama motoru tarayıcılarının yönetici sayfanızı taramasını engellemek istiyorsanız, robots.txt dosyanız aşağıdaki gibi görünmelidir:

Kullanıcı aracısı: *
İzin verilmeyenler: /wp-admin/

($) Joker

($) joker karakteri bir URL'nin sonunu belirtir. Örneğin, tarayıcıların sitenizdeki tüm PDF dosyalarını dizine eklemesini engellemek istiyorsanız, robots.txt dosyanız aşağıdaki gibi görünmelidir:

Kullanıcı aracısı: *
İzin verilmiyor: /*.pdf$

4. Gelecekte Referans İçin Yorumları Kullanın

Robots.txt dosyanızdaki yorumlar, dosyaya erişimi olan geliştiriciler ve diğer ekip üyeleri için yararlı olabilir. Ayrıca gelecekte referans olarak da kullanılabilirler.

Robots.txt dosyanıza yorum eklemek için, hash tuşunu (#) yazın ve yorumunuzu girin.

İşte bir örnek:

# Bu, Googlebot'un yoursitename.com/directory1/ dizinini taramasını engeller
Kullanıcı aracısı: googlebot
İzin verilmeyenler: /dizin1/
Web tarayıcıları, karma içeren satırları görmezden gelir.

5. Her Alt Alan Adı İçin Ayrı Bir Robots.txt Dosyası Oluşturun

Her alt alan adı kendi robots.txt dosyasını gerektirir. Bu nedenle, sitenizin farklı bir alt alan adında barındırılan bir bölümü varsa, iki ayrı robots.txt dosyası oluşturmanız gerekir.

Örneğin, HubSpot'ın blogu bir alt etki alanında barındırılıyor ve kendi robots.txt dosyasına sahip:

Son Düşünceler

Robots.txt basit bir metin dosyası olabilir, ancak güçlü bir SEO aracıdır. Optimize edilmiş bir robots.txt dosyası sayfalarınızın dizine eklenebilirliğini iyileştirebilir ve sitenizin arama sonuçlarındaki görünürlüğünü artırabilir

chengdu · 7 Haz 2025

Özgünlük seviyesai uymadığı için omaylanmadı