Xenforo Standart Robots.txt Dosyası Nasıl Olmalıdır?

Linux

Yaşlı Kurt
Yönetici
Admin
Kurucu Admin
Bildiğiniz üzere robots.xt dosyası botlara sınırlama getirmenizi sağlıyor Xenforo da standart robots.txt dosyası aşağıdaki şekilde olmalıdır.Siz kendi gereksinimlerinize göre ekleme veya çıkarmalar yapabilirsiniz

Kod:
User-agent: Yandex
Crawl-delay: 2

User-agent: Mediapartners-Google*
Disallow:

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-video
Disallow: /

User-agent: Baiduspider-image
Disallow: /

User-agent: *
Disallow: /admin.php
Disallow: /account/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /find-new/
Disallow: /goto/
Disallow: /login/
Disallow: /register/
Disallow: /search/
Allow: /

Sitemap: http://www.siteadresi.com/sitemap.php
 
Üst