Xenforo Standart Robots.txt Dosyası Nasıl Olmalıdır?

img acıklama

Linux

Kurucu
Yönetici
Moderatör
13 Şub 2021
2,358
Bildiğiniz üzere robots.xt dosyası botlara sınırlama getirmenizi sağlıyor Xenforo da standart robots.txt dosyası aşağıdaki şekilde olmalıdır.Siz kendi gereksinimlerinize göre ekleme veya çıkarmalar yapabilirsiniz

Kod:
User-agent: Yandex
Crawl-delay: 2

User-agent: Mediapartners-Google*
Disallow:

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-video
Disallow: /

User-agent: Baiduspider-image
Disallow: /

User-agent: *
Disallow: /admin.php
Disallow: /account/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /find-new/
Disallow: /goto/
Disallow: /login/
Disallow: /register/
Disallow: /search/
Allow: /

Sitemap: http://www.siteadresi.com/sitemap.php
 
Üst Alt