Robots.txt, web siteleri tarafından web tarayıcıları ve diğer web robotları ile iletişim kurmak için kullanılan bir standarttır. Standart, web robotunun web sitesinin hangi alanlarının işlenmemesi veya taranmaması gerektiği konusunda nasıl bilgilendirileceğini belirtir.
Robots.txt neden önemlidir?
Bir arama motoru sitenizi taramadan önce, arama motoru sonuçlarını taramalarına / ziyaret etmelerine ve dizine eklemelerine izin verilen yerler hakkında talimat olarak robots.txt dosyanıza bakar.
Arama motorlarının web sitenizdeki herhangi bir sayfayı görmezden gelmesini istiyorsanız, bunu robots.txt dosyanızda belirtmelisiniz.
Robots.txt'nin temel formatı şu şekildedir.
Örnek vermek gerekirse;
User-agent: Mediapartners-Google Disallow: User-agent: TruliaBot Disallow: / User-agent: * Disallow: /search.html User-agent: * Disallow: / comments / * User-agent: Mediapartners-Google * Disallow:Django Projenize robots.txt eklemek için adımlar:
Diyelim ki projenizin adı myproject.
Projenizin kök konumunda 'templates' dizinini oluşturun.
'templates' dizininin içinde projenizle aynı adı taşıyan başka bir dizin oluşturun.
İçine bir metin dosyası robots.txt yerleştirin.
Proje yapınız şuna benzemelidir.
Şimdi robots.txt'nin içeriğine arama motoru kullanıcı adını ve içindeki izin vermediğimiz URL adreslerini girin.
User-agent: * Disallow: /admin/ Disallow: /accounts/Şimdi projenizin urls.py dosyasına gidin ve aşağıdaki import ifadesini ekleyin;
from django.views.generic import TemplateViewAşağıdaki kodu URL pattern altına ekleyin;
urlpatterns += [ url(r'^robots.txt$', TemplateView.as_view(template_name="myproject/robots.txt", content_type='text/plain')), ]Şimdi sunucuyu yeniden başlatın ve http://localhost:8000/robots.txt adresini tarayıcınızda adresine gidin ve robots.txt dosyasını görebileceksiniz.
Robots.txt'yi Web Sunucusundan Yayınlamak :
Robots.txt dosyasını doğrudan web sunucunuzdan sunabilirsiniz.
Apache için örnek yapılandırma aşağıdadır.
Robots.txt Hakkında Hızlı ipuçları:
robots.txt büyük / küçük harfe duyarlıdır. Dosya, Robots.txt veya robots.TXT değil, robots.txt olarak adlandırılmalıdır. robots.txt dosyası bir web sitesinin üst düzey dizinine yerleştirilmelidir. Web sitenizin taranmasını istediğiniz herhangi bir içeriğini veya bölümünü engellemediğinizden emin olun, çünkü bu SEO için iyi olmayacaktır.Şimdilik bu kadar sevgili geliştirici dostlar. Yorum yaparak sizde makaleye destek verebilirsiniz. Takipte kalın...