9 причини да стартирате паяк на търсачката на вашия уебсайт
Робот за търсене, „уеб паяк“ или робот (английски crawl - „да пълзи“) е истинско задължително за всеки уважаващ себе си специалист по маркетинг в мрежата за търсене. Първото и основно правило на органичното търсене е, че търсачката трябва да може да пълзи до дадена страница, за да я класира и по този начин да стимулира трафика и продажбите. Ако търсачката не може да достигне до определени страници на вашия сайт, то в очите на търсачката те просто не съществуват. И съответно само тези страници, за съществуването на които роботът за търсене знае, ще бъдат класирани за резултати от търсенето.
Да, можете да създадете Sitemap, използвайки XML, показвайки съществуващи страници на търсачките. Но самостоятелно този файл може да помогне само при индексиране на страници. Класирането на XML карта на сайта няма да помогне, освен ако просто няма с кого да се конкурирате.
Вашата SEO ефективност зависи от дълбочината на обхождане на вашия сайт. Когато оптимизирате вашия сайт, първо трябва да намерите добър робот. Оставихме няколко препоръки относно робота в края на тази статия, но засега нека се съсредоточим върху това защо всъщност трябва да обхождате сайта си.
Разберете кои страници са недостъпни за робота за търсене
Намерете блокове по пътя на робота
Ако страницата не се показва в отчета за сканиране, роботът няма достъп до нея. Ето защо, когато сканирате изходния файл, обърнете специално внимание на липсващите страници. Може би роботът не е успял да ги достигне. Знаейки, че някъде има блок за сканиране, можете да го определите в зависимост от това кои страници липсват.
Филтрирате ли страници за цвят, стил и размер? Тогава най-вероятно имате много често срещан и доста досаден проблем: AJAX филтрите се актуализират и променят външния вид на страницата на екрана, без да променят URL адреса на тази страница. Ако роботът не намери страница с конкретна комбинация от букви в URL адреса, един от вашите файлове robots.txt вероятно ще забрани индексирането повече, отколкото е предвидено.
Намерете забранени URL адреси
Някои роботове могат да ви кажат кои страници могат да бъдат класирани, ако не са били блокирани от robots.txt. Тази полезна функция улеснява много намирането и деблокирането на страници, които са били забранени случайно.
Намерете 404 грешки
Почти всеки търговски сайт има 404 („не е намерен“) грешки. На много сайтове така изглежда преустановената страница с продукти. По правило такава страница става „не може да се обхожда“, което по принцип е удобно за потребителя да търси. Търсачките разбират, че страницата е съществувала, защото са я индексирали. Виждайки грешка 404, те в крайна сметка деиндексират тази страница.
Но търсачките разглеждат и 404 страници с грешки, които водят до вътрешна навигация в сайта като знак за нискокачествено изживяване при пазаруване. В случай на твърде много от тези грешки или в комбинация с други подобни проблеми, грешка 404 може да започне да забавя сериозно класирането при търсене.