Доминиращият файл на сайта

Какво е файл Robots.txt като цяло и защо е необходим? Файлът, намиращ се в общия каталог на вашия ресурс, който съдържа инструкции за търсачките, носи името Robots.txt. С негова помощ е възможно да се отвори или затвори достъп до определени страници или раздели на вашия сайт, да се създаде основно огледало на ресурса и също така да се регистрира местоположението на файла на картата на сайта. Robots.txt е изключително полезен файл. Това може да бъде проследено от примера за ограничаване на достъпа до техническите раздели на вашия ресурс. Ако индексирането за технически раздели на вашия сайт е отворено, тогава роботите за търсене ще се опитат да го затворят, за да могат случайно да затворят достъпа до необходимите страници на сайта.

Robots.txt е основният файл на сайта. Как да изтеглите robots.txt

Можете да изтеглите robots.txt от основната директория на вашия сайт. Възможно е да създадете този файл директно с помощта на приложението за бележник. Първото нещо, което търсачката ще направи, когато става въпрос за вашия ресурс, ще се опита да изтегли robots.txt и да прочете инструкциите, намиращи се в него.

Можете да конфигурирате robots.txt, като използвате две основни директиви: Usеr-аgent и Disаllоw. Използвайки първата, ще определим коя търсачка ще затвори индексирането, което се намира във втората директива. Например: Usеr-agent: * Disаllоw:/- инструкцията в този формуляр ще забрани индексирането на страници от целия сайт за роботи за търсене. Като предписва пътя към отделен файл или директория след директивата Disallow, роботът ще спре да ги индексира. Забележка: не пишете множество пътища до файлове (директории) на един ред. В този случай директивата няма да работи. Ако трябва да отворите достъп до конкретни страници на сайта, приложете директива, наречена Allow.

---