Перейти к содержимому


Фотография
- - - - -

Помогите настроить robots.txt

robots.txt goolge yandex seo

  • Авторизуйтесь для ответа в теме
В этой теме нет ответов

#1 Оффлайн   theanabioz

    Новичок


  • Пользователи
  • Репутация
    0
    • Cообщений: 7
    • Город:Tallinn

Отправлено 02 Декабрь 2013 - 03:52

Помогите настроить robots.txt. Опыта в поисковой оптимизации очень мало, хочу что бы форум нормально индексировался и не попасть под поисковые фильтры.

На одном из форумах нашел так сказать "универсальный роботс для ipb 3. Вот его содержание:

User-Agent: Yandex
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /admin/install/index.php
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*
Host: craftday.ru
Sitemap: http://craftday.ru/sitemap.xml

User-agent: Googlebot
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*
Sitemap: http://craftday.ru/sitemap.xml

Можно ли его использовать? или в любом случае придется перенастраивать все под себя?


  • 0





Темы с аналогичными тегами: robots.txt, goolge, yandex, seo