Грешки при предотвратяване на индексирането на Yandex
Грешка 404 "Не е намерена" се обработва неправилно
Проверете какво правят вашите скриптове в случай на грешки. Ако скриптът съобщи за грешка и в същото време върне нормален код за изход от 200, тогава съобщението ще бъде индексирано. Ако вашият скрипт връща 404 HTTP код, това съобщение за грешка няма да бъде индексирано.
Това важи и за обикновените документи. Някои сървъри са конфигурирани по такъв начин, че в случай на грешка да изпращат съобщение с нормален изходен код 200. Това пречи на робота да изтрие връзката към страницата в базата данни. Всеки съвременен уеб сървър ви позволява да модифицирате стандартните съобщения за грешки и да ги изпращате с правилния код за грешка.
Неправилни дати
Търсенето и сортирането по дата работи в Yandex, но в 20% от случаите сървърите не показват действителната дата на модификация на файла. Конфигурирайте вашия сървър правилно. Не лишавайте потребителя от допълнителна информация и използвайте възможността за правилно показване на вашите страници при търсене по дати.
Неправилно кодиране
Уеб сървърът, заедно със самия HTML документ, изпраща и допълнителна информация в така наречените "HTTP заглавки". По-специално, кодирането на документа е посочено в заглавката „Content-Type“, параметърът на кодировката, например по следния начин:
Тип съдържание: text/html; charset = windows-1251
Тип съдържание: text/html; charset = koi8-r
Уеб сървърът трябва да посочи кодирането на всички документи, които не са написани на английски език. Ако кодирането не е посочено, потребителят ще бъде принуден сам да зададе кодирането в браузъра, което е много неудобно. Можете да принудите сървъра да изпрати кодирането, като коригирате конфигурацията на сървъра.