Перейти к содержимому


Фотография
- - - - -

Яндекс не индексирует страницы


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 13

#11 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 02 Август 2012 - 12:15

Правда у яндекса стоит, Регулярное выражение: "Yandex(Blog)?[ /]([0-9.]{1,10})"


Поставьте такое выражение Yandex(Blog|Bot)?[ /]([0-9.]{1,10})

думаю если спрошу то всетаки по теме. просто хотелось бы не просто копировать но и понимать что я делаю. а именно что всетаки означают данные переменные (Blog|Bot)?[ /]([0-9.]{1,10}) ?
  • 0

Заработок и обучение заработку

#12 Оффлайн   Vanchila

    Новичок


  • Пользователи
  • Репутация
    0
    • Cообщений: 2
    • Форум:3.2.3

Отправлено 13 Август 2012 - 10:42

(Blog|Bot) - означает, что узер-агент будет отображаться как при наличии поискового бота, так и блогового (| - или).
?[ /] - возможен слеш при возможных дальнейших параметрах.
([0-9.] - точно не уверен, но скорее всего это номер самого бота или типо того.
{1,10}) - видимо, глубина сканирования.
? - другие возможные аргументы/параметры.

Сообщение отредактировал Vanchila: 13 Август 2012 - 10:42

  • 0

#13 Оффлайн   savch

    Новичок


  • Пользователи
  • Репутация
    0
    • Cообщений: 1
    • Форум:3.3.х

Отправлено 13 Январь 2013 - 00:20

(Blog|Bot) - означает, что узер-агент будет отображаться как при наличии поискового бота, так и блогового (| - или).
?[ /] - возможен слеш при возможных дальнейших параметрах.
([0-9.] - точно не уверен, но скорее всего это номер самого бота или типо того.
{1,10}) - видимо, глубина сканирования.
? - другие возможные аргументы/параметры.

:stena:

ru.wikipedia.org/wiki/%D0%E5%E3%F3%EB%FF%F0%ED%FB%E5_%E2%FB%F0%E0%E6%E5%ED%E8%FF


Сообщение отредактировал ..WOLF..: 13 Январь 2013 - 00:22

  • 0

#14 Оффлайн   Denis Chursinov

    Новичок


  • Пользователи
  • Репутация
    2
    • Cообщений: 1
    • Форум:3.4.х

Отправлено 20 Февраль 2013 - 15:51

Вообще для яндекса вот так лучше 
 

Yandex(Blogs|Blog|Bot|Images|Video|Media|Favicons|Webmaster|Pagechecker|ImageResizer|Direct|Metrika|News|Newslinks|Catalog|Antivirus|Zakladki|Sitelinks|Vertis)?[ /]([0-9.]{1,10})
 

А чтоб не флудили поставить в robots.txt
 

Crawl-delay: 10
 

  • 2