Иногда при всех наших усилиях не удается вывести сайт в топ. Да и вообще ресурс, над которым проводится серьезная работа, может терять в своей эффективности из-за ряда мелких упущений. Многие совершенно напрасно не обращают на них внимания из-за кажущейся незначительности данных факторов. Я постарался собрать их в одной статье. Они все должны быть учтены, если вы хотите, чтобы работа по поисковой оптимизации увенчалась успехом.
Разные адреса домена
Если ваш сайт доступен с префиксом www и без него, то это может представлять некоторую проблему для поисковых систем. Они могут проиндексировать оба варианта вашего ресурса, посчитав один из них неуникальным. Ссылочная масса на сайт также будет разнородной (с префиксом и без). В общем, часть ссылочного веса будет просто теряться. Ну и далеко не факт, что основной версией сайта в поисковых машинах станет именно та, которые хотите видеть вы. К счастью, есть решение данной проблемы.
Во-первых, нужно отредактировать ваш файл robots.txt, расположенный в корневом каталоге сайта. Там нужно для каждой поисковой машины указать основной хост сайта. Делается это очень просто (пример для яндекса):
User-Agent: Yandex
Host: www.myemarketing.ru
В данном случае хостом стал адрес с префиксом www. Впрочем, этого недостаточно. Нужно еще и склеить домены, чтобы не было неверных ссылок на ваш сайт. Для этого можно воспользоваться 301 редиректом. Есть разные варианты (вы можете найти все в сети). Вот один из них:
Options -Indexes
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.myemarketing.ru
RewriteRule (.*) https://myemarketing.ru/$1 [R=301,L]
В данном случае домен с префиксом www заменяется доменом без него. https://myemarketing.ru/ становится основным.
Страница для печати
Еще одна достаточно распространенная ошибка – не закрытая от индексации поисковыми системами страница для печати. Особенно это актуально для контентных сайтов. Собственно, страница для печати порождает дубли контента, что не особенно благотворно влияет на позиции сайта в поисковых системах. Как решить проблему? Есть разные способы запрета к индексации страниц. Один из них – закрыть страницы печати в robots.txt с помощью следующей строки:
User-agent: *
Disallow: /print.php
Конечно, детали будут зависеть от того, какой адрес имеет ваша страница печати. Но запретить можно страницы даже с параметрами. Так что проблем возникнуть не должно. Кстати, дубли могут предоставлять не только страницы для печати, но и какие-либо другие. Здесь зависит от структуры вашего сайта. В любом случае их быть не должно.
Ошибка 404
Грамотно настроенная выдача ошибки 404 на несуществующие страницы сайта является неотъемлемой частью работы над новым ресурсом. Важно сделать так, чтобы несуществующие страницы не индексировались дублированным контентом и не выдавали каких-либо других ошибок. Настройка 404 ошибки выходит за рамки данной статьи, благо материалов в сети на эту тему множество.
Кстати, раз уж речь зашла о 404 ошибке и несуществующих страницах, то советую обратить самое пристальное внимание на ситуации, когда ошибка 404 не фиксируется, и по несуществующему адресу выдается ваш сайт. Например, у меня при работе над одним контентным ресурсом было нечто подобное. Это породило множество дублей, а проблема была даже не в 404 ошибке, а конкретно в движке сайта.
Наличие сомнительных страниц с точки зрения поисковой системы
Здесь нет общего рецепта по выявлению «сомнительных страниц». Я просто расскажу вам одну историю. Во время моей работы над одним контентным сайтом, на него был наложен фильтр АГС Яндекса (о том, что такое АГС читайте здесь). Сайту на тот момент уже было 3 года, множество уникальных статей, хорошие позиции и трафик в районе 4 тысяч уникальных посетителей в сутки. Причина была совершенно не ясна, но после долгой переписки с Яндексом оказалось, что основная проблема в странице «Рейтинг пользователей», которую робот счел поисковым спамом.
Конечно, данная страница не являлась тем, чем ее посчитал Яндекс. Это был обычный рейтинг, в котором показывались имена и аватары авторов сайта, а также их специализация. Проблема оказалась в последнем поле — пользователи указывали, чем они занимаются в краткой форме: «Маркетинг», «SEO», «Менеджмент» и так далее. Для простых посетителей это было удобно, так как они сразу могли понять, о чем пишет автор. Яндекс же посчитал, что эти ключевые слова сделаны для получения высоких позиций. В общем, простая ситуация, приведшая к проблемам.
Вы можете считать, что с точки зрения пользователей ваш сайт хорош, но не стоит забывать, что он должен быть таким и с точки зрения робота поисковых систем. Либо избавляйтесь от спорных страниц, либо запрещайте их к индексации.
Дубли главной страницы
Возвращаемся к дублированному контенту. Еще одной проблемой может стать доступность главной страницы сайта по разным адресам. Например, site.ru/ и site.ru/index.php. Это не так страшно, как предыдущие случаи, но все равно является дублем с точки зрения поисковой системы и не несет в себе ничего хорошего. Решается проблема редиректом 301 (как и в случае с редиректом домена с префиксом и без него). Один из примеров:
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/index\.(.+)$
RewriteRule ^.*$ http://%{HTTP_HOST}/ [R=301,L]
Есть, конечно, и другие способы. Подробнее о них ищите статьи по 301 редиректу.
Аренда ссылок
Еще один фактор, который почему-то периодически встречается в клиентском продвижении. Создан продающий сайт фирмы с конкретным продуктом и небольшим количеством страниц. Идет продвижение, полет нормальный, а затем без соглашения со студией продвижения на нем заказчик размещает ссылки Sape. Естественно, это все крайне плохо для продвижения корпоративных сайтов, и за этим надо следить. Ссылки могут продавать контентные сайты, когда уже заслужили доверие поисковых систем, но никак не те ресурсы, которые продвигаются в поисковиках и могут быть отнесены к продающим.
И еще несколько мелких проблем, которые не требуют подробного объяснения:
— ошибки в файле robots.txt;
— ошибки в файле .htaccess;
— плохой хостинг, являющийся частой причиной падений сайта;
— высокая нагрузка на сайт, способствующая его медленной работе (необходимо переходить на VPS или свой сервер);
— высокий уровень вложенности важных страниц (например, чтобы перейти к ней, нужно пройти еще по 4 страницам);
— внешние ссылки на сомнительные сайты;
Пожалуй, все, что я хотел сказать. Буду благодарен за добавления в комментариях.
