• 1

Django Uygulamasına Robots.txt dosyası ekleme

1 ay önce , Okuma süresi 1 dakika.

Robots.txt, web siteleri tarafından web tarayıcıları ve diğer web robotları ile iletişim kurmak için kullanılan bir standarttır. BU yazımızda bir Django uygulamamıza Robots.txt eklemeyi göreceğiz.
Django Uygulamasına Robots.txt dosyası ekleme

Robots.txt, web siteleri tarafından web tarayıcıları ve diğer web robotları ile iletişim kurmak için kullanılan bir standarttır. Standart, web robotunun web sitesinin hangi alanlarının işlenmemesi veya taranmaması gerektiği konusunda nasıl bilgilendirileceğini belirtir.

Robots.txt neden önemlidir?

Bir arama motoru sitenizi taramadan önce, arama motoru sonuçlarını taramalarına / ziyaret etmelerine ve dizine eklemelerine izin verilen yerler hakkında talimat olarak robots.txt dosyanıza bakar.

Arama motorlarının web sitenizdeki herhangi bir sayfayı görmezden gelmesini istiyorsanız, bunu robots.txt dosyanızda belirtmelisiniz.

Robots.txt'nin temel formatı şu şekildedir. 

User-agent: [Arama Motoru Adı]
Disallow: [Taranmayacak URL adresi]

Örnek vermek gerekirse; 

 User-agent: Mediapartners-Google 
      Disallow: 

      User-agent: TruliaBot 
      Disallow: / 

      User-agent: * 
      Disallow: /search.html 

      User-agent: * 
      Disallow: / comments / * 

      User-agent: Mediapartners-Google * 
      Disallow:

Django Projenize robots.txt eklemek için adımlar:

Diyelim ki projenizin adı myproject.
Projenizin kök konumunda 'templates' dizinini oluşturun.
'templates' dizininin içinde projenizle aynı adı taşıyan başka bir dizin oluşturun.
İçine bir metin dosyası robots.txt yerleştirin.
Proje yapınız şuna benzemelidir.

myproject
 |
 |--maypp
 |--myproject
 |    |--settings.py
 |    |--urls.py
 |    |--wsgi.py
 |--templates
 |    |--myproject
 |    |   |--robots.txt

Şimdi robots.txt'nin içeriğine arama motoru kullanıcı adını  ve içindeki izin vermediğimiz URL adreslerini girin. 

User-agent: *
Disallow: /admin/
Disallow: /accounts/

Şimdi projenizin urls.py dosyasına gidin ve aşağıdaki import ifadesini ekleyin;

from django.views.generic import TemplateView

Aşağıdaki  kodu URL pattern altına ekleyin;

urlpatterns += [
    url(r'^robots.txt$', TemplateView.as_view(template_name="myproject/robots.txt", content_type='text/plain')),
]

Şimdi sunucuyu yeniden başlatın ve http://localhost:8000/robots.txt adresini tarayıcınızda adresine gidin ve robots.txt dosyasını görebileceksiniz.

Robots.txt'yi Web Sunucusundan Yayınlamak : 

Robots.txt dosyasını doğrudan web sunucunuzdan sunabilirsiniz.
Apache için örnek yapılandırma aşağıdadır.

<Location "/robots.txt">
 SetHandler None
 Require all granted
</Location>
Alias /robots.txt /var/www/html/project/robots.txt

Robots.txt Hakkında Hızlı ipuçları:

  • robots.txt büyük / küçük harfe duyarlıdır. Dosya, Robots.txt veya robots.TXT değil, robots.txt olarak adlandırılmalıdır.
  • robots.txt dosyası bir web sitesinin üst düzey dizinine yerleştirilmelidir.
  • Web sitenizin taranmasını istediğiniz herhangi bir içeriğini veya bölümünü engellemediğinizden emin olun, çünkü bu SEO için iyi olmayacaktır.

    Şimdilik bu kadar sevgili geliştirici dostlar. Yorum yaparak sizde makaleye destek verebilirsiniz. Takipte kalın...
  • #django