Сегодня я с ужасом обнаружил, что выпали страницы из индекса Яндекс, и не одна и не две, а очень много. Из-за этого трафик везде просел в два-три раза, а как понимаете — это полная печаль :(
Почему страницы выпали из Яндекса?
Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!
НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!
Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.
Сначала я подумал, что трафик просел из-за Пасхи, люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.
Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:
40% статей на этом блоге вылетели из индекса! Понятно, почему просел трафик! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:
Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:
Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:
Здравствуйте, Андрей!
Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе «Яндекс.Вебмастера». Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.
О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице https://yandex.ru/support
/webmaster-troubleshootin g/site-indexing.xml. Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.
Спасибо за понимание, ждем Вашего письма!
Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!
Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?
Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:
Как найти страницы выпавшие из Яндекса?
Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и Key Collector.
Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:
Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.
Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:
В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:
Далее создаем новый проект и добавляем в ФРАЗЫ все наши URL:
Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:
После того как все закончилось выгружаем результат в EXEL. Что мы видим?
А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:
Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье — как можно ускорить индексацию сайта?
Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде…
Проверил — вроде статьи сегодня опять залезли в индекс, ну и отлично! Вечером посмотрим посещаемость.
Проверил — вроде статьи сегодня опять залезли в индекс, ну и отлично! Вечером посмотрим посещаемость.
Вроде вернулась посещалка! У меня недавно тоже всю ночь сайт не работал. Результат — просадка трафика в 2 раза в течение трех дней. К счастью, все быстро восстанавливается, уже полностью восстановилось все.
Вроде вернулась посещалка! У меня недавно тоже всю ночь сайт не работал. Результат — просадка трафика в 2 раза в течение трех дней. К счастью, все быстро восстанавливается, уже полностью восстановилось все.
Вроде вернулась посещалка! У меня недавно тоже всю ночь сайт не работал. Результат — просадка трафика в 2 раза в течение трех дней. К счастью, все быстро восстанавливается, уже полностью восстановилось все.
Здравствуйте!
Просмотрел вашу статистику посещаемости. Вы, что счетчик liveinternet убрали?
Здравствуйте!
Просмотрел вашу статистику посещаемости. Вы, что счетчик liveinternet убрали?
Здравствуйте!
Просмотрел вашу статистику посещаемости. Вы, что счетчик liveinternet убрали?
Да, давно убрал, оставил только Яндекс метрику, все остальные мне не нужны больше на этом сайте. Вообще не понимаю тех, кто вещает кучу счетчиков и потом все равно их не смотрит, только лишние скрипты на сайте.
Да, давно убрал, оставил только Яндекс метрику, все остальные мне не нужны больше на этом сайте. Вообще не понимаю тех, кто вещает кучу счетчиков и потом все равно их не смотрит, только лишние скрипты на сайте.
Да, давно убрал, оставил только Яндекс метрику, все остальные мне не нужны больше на этом сайте. Вообще не понимаю тех, кто вещает кучу счетчиков и потом все равно их не смотрит, только лишние скрипты на сайте.