Перейти к содержимому


Фотография
- - - - -

Какие к вам ходят поисковые боты на форум?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 42

#41 Оффлайн   lowme

    Постоялец


  • Пользователи
  • Репутация
    14
    • Cообщений: 226
    • Форум:3.4.х

Отправлено 27 Июль 2013 - 23:28

Чтобы не грузил систему надо настроить robots.txt там по ссылке описано как.



Заработок и обучение заработку

#42 Оффлайн   lg29

    Знающий


  • Пользователи
  • Репутация
    92
    • Cообщений: 927
    • Форум:3.3.х
    Участник

Отправлено 27 Июль 2013 - 23:33

Чтобы не грузил систему надо настроить robots.txt там по ссылке описано как.

Выставление задержки для бота - да согласен систему меньше грузить будет. Но тут суть в другом нужен ли этот бот или нет? Если нужен то да согласен, если нет то ну его и нафиг, к себе лично добавлять его не хочу просто потому что он мне не понравился )))



#43 Оффлайн   lowme

    Постоялец


  • Пользователи
  • Репутация
    14
    • Cообщений: 226
    • Форум:3.4.х

Отправлено 28 Июль 2013 - 00:03

Задержка это только задержка. Можно полностью запретить индексацию.

How can I block MJ12bot?

MJ12bot adheres to the robots.txt standard. If you want the bot to prevent website from being crawled then add the following text to your robots.txt:

User-agent: MJ12bot
Disallow: /


И так можно отвадить любого бота, поддерживающего инструкции из robots.txt