Как заблокировать ботов через robots.txt?

Боты бывают полезные, типа Yandex и Google, а бывают и бесполезные для сайта. А некоторые даже вредны, так как грузят ваш сервер, когда его сканируют. А если ваш хостинг и так медленный, то это может ОЧЕНЬ сильно сказаться на вашем сайте.

Не так давно копался в чужих robots.txt, было интересно, кто что закрывает? И наткнулся на один сайт, который заблокировал, наверное, всех ботов в мире ;)

Как заблокировать ботов

Я стянул у него этот файл на всякий случай, вдруг потом пригодится? Дабы не забыть, выкладываю тут:

Согласитесь, внушительный список, для параноиков просто ВОЛШЕБНАЯ ПИЛЮЛЯ!

Оцените статью
Просто Линукс
Добавить комментарий

  1. Pasagir

    Ну так-то да. Но можно ведь по незнанке и какого-то нужного бота закрыть. Например, закрылся от Xenu, а через какое-то время решил проверить сайт на битые ссылки, а он хрен вам, а ты и забыл, что в роботсе запретил. Ну в общем, с головой нужно делать, не бездумно.

  2. Pasagir

    Ну так-то да. Но можно ведь по незнанке и какого-то нужного бота закрыть. Например, закрылся от Xenu, а через какое-то время решил проверить сайт на битые ссылки, а он хрен вам, а ты и забыл, что в роботсе запретил. Ну в общем, с головой нужно делать, не бездумно.

  3. ден

    а что разве нельзя вот так
    user agent*
    disallowe: /
    user agent например яндекс
    allowe: /

  4. ден

    а что разве нельзя вот так
    user agent*
    disallowe: /
    user agent например яндекс
    allowe: /

  5. prostolinux автор

    Можно, если нужен трафик только с Яндекс. Но это не тот путь, так как поисковиков достаточно много и все они вкупе приносят дополнительный трафик.

  6. prostolinux автор

    Можно, если нужен трафик только с Яндекс. Но это не тот путь, так как поисковиков достаточно много и все они вкупе приносят дополнительный трафик.