Robots.txt, web siteleri tarafından web tarayıcıları ve diğer web robotları ile iletişim kurmak için kullanılan bir standarttır. Standart, web robotunun web sitesinin hangi alanlarının işlenmemesi veya taranmaması gerektiği konusunda nasıl bilgilendirileceğini belirtir.
Robots.txt neden önemlidir?
Bir arama motoru sitenizi taramadan önce, arama motoru sonuçlarını taramalarına / ziyaret etmelerine ve dizine eklemelerine izin verilen yerler hakkında talimat olarak robots.txt dosyanıza bakar.
Arama motorlarının web sitenizdeki herhangi bir sayfayı görmezden gelmesini istiyorsanız, bunu robots.txt dosyanızda belirtmelisiniz.
Robots.txt'nin temel formatı şu şekildedir.
User-agent: [Arama Motoru Adı]
Disallow: [Taranmayacak URL adresi]
Örnek vermek gerekirse;
User-agent: Mediapartners-Google
Disallow:
User-agent: TruliaBot
Disallow: /
User-agent: *
Disallow: /search.html
User-agent: *
Disallow: / comments / *
User-agent: Mediapartners-Google *
Disallow:
Django Projenize robots.txt eklemek için adımlar:
Diyelim ki projenizin adı myproject.
Projenizin kök konumunda 'templates' dizinini oluşturun.
'templates' dizininin içinde projenizle aynı adı taşıyan başka bir dizin oluşturun.
İçine bir metin dosyası robots.txt yerleştirin.
Proje yapınız şuna benzemelidir.
myproject
|
|--maypp
|--myproject
| |--settings.py
| |--urls.py
| |--wsgi.py
|--templates
| |--myproject
| | |--robots.txt
Şimdi robots.txt'nin içeriğine arama motoru kullanıcı adını ve içindeki izin vermediğimiz URL adreslerini girin.
User-agent: *
Disallow: /admin/
Disallow: /accounts/
Şimdi projenizin urls.py dosyasına gidin ve aşağıdaki import ifadesini ekleyin;
from django.views.generic import TemplateView
Aşağıdaki kodu URL pattern altına ekleyin;
urlpatterns += [
url(r'^robots.txt$', TemplateView.as_view(template_name="myproject/robots.txt", content_type='text/plain')),
]
Şimdi sunucuyu yeniden başlatın ve http://localhost:8000/robots.txt adresini tarayıcınızda adresine gidin ve robots.txt dosyasını görebileceksiniz.
Robots.txt'yi Web Sunucusundan Yayınlamak :
Robots.txt dosyasını doğrudan web sunucunuzdan sunabilirsiniz.
Apache için örnek yapılandırma aşağıdadır.
<Location "/robots.txt">
SetHandler None
Require all granted
</Location>
Alias /robots.txt /var/www/html/project/robots.txt
Robots.txt Hakkında Hızlı ipuçları:
Şimdilik bu kadar sevgili geliştirici dostlar. Yorum yaparak sizde makaleye destek verebilirsiniz. Takipte kalın...