Перейти к содержимому


Фотография
- - - - -

параметр noindex


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 16

#1 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 02 Март 2012 - 14:08

Добрый день уважаемая администрация и пользователи форума, колеги.

думаю будет для многих актуальна тема индексации, а если конкретней к данной теме но запрет на индексацию тегом - noindex

лично меня конкретно интересует как пользоваться этим параметром и если можно привести пример роботс.txt с данным пораметром.


п.с. а так любопытно впринцепи все по данной теме

с уважением,

Заработок и обучение заработку

#2 Оффлайн   ๖ۣۣۜDesperate™

    Администратор


  • Администраторы
  • Репутация
    4 616
    • Cообщений: 8 560
    • Форум:3.4.х
    • Город:IpbZona
    Участник

Отправлено 02 Март 2012 - 14:25

Ну вот для примера мой роботс

User-agent: *
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: http://мой сайт.ru/sitemap.xml
User-agent: Yandex
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Host: www.мой сайт.ru
Sitemap: http://мой сайт.ru/sitemap.xml

Я вот запретил поисковикам индексировать и список пользователей

Disallow: /members/
Disallow: /index.php?app=members

Таким же способом можно запретить любую страницу, которая вам не нужна в индексации

#3 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 02 Март 2012 - 14:30

а вот это значение как я понимаю зерколо второе по редиректу?

Host: www.мой сайт.ru

Сообщение отредактировал Vasek1: 02 Март 2012 - 14:30


#4 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 02 Март 2012 - 14:37

а вот мой)))
User-agent: *
Disallow: /index.php?/members/
Disallow: /index.php?app=core&module=search&do=viewNewContent&search_app=forums

в чем отличие? между моим и ВАшим ниписанием: Disallow: /members/

Сообщение отредактировал Vasek1: 02 Март 2012 - 14:42


#5 Оффлайн   ๖ۣۣۜDesperate™

    Администратор


  • Администраторы
  • Репутация
    4 616
    • Cообщений: 8 560
    • Форум:3.4.х
    • Город:IpbZona
    Участник

Отправлено 02 Март 2012 - 15:08

Разное направление ссылок на список пользователей. То есть бот может так зайти или так. Вот ему и отрубили оба входа в одно место.

#6 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 02 Март 2012 - 16:06

меня ещё волнует возможность попадания в АГС яндекса изза неправильных установок робот файла.
например в агс можно попасть при условии блокирования доступа робота к урлам куда неблокировани доступ пользователей. или я чтото путаю?

пример: есть скрытый раздел форума для отдельной маски, и все его урлы я запрещу в роботфайле . правильно ли это или есть вероятность попадания в АГС???

с уважением,

#7 Оффлайн   SiD

    Продвинутый


  • Пользователи
  • Репутация
    9
    • Cообщений: 72
    • Форум:3.3.х

Отправлено 13 Март 2012 - 12:36

смысл писать правила для закрытого раздела? бот не может уйти дальше обычного гостя или группы (при условии установки хука)

#8 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 13 Март 2012 - 15:43

смысл писать правила для закрытого раздела? бот не может уйти дальше обычного гостя или группы (при условии установки хука)

какого хука?

#9 Оффлайн   SiD

    Продвинутый


  • Пользователи
  • Репутация
    9
    • Cообщений: 72
    • Форум:3.3.х

Отправлено 13 Март 2012 - 17:18

есть хук при помощи которого можно выставить группу для поисковых ботов

#10 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 13 Март 2012 - 19:54

а название Вы не помните?