Перейти к содержимому


Фотография
- - - - -

Яндекс не индексирует страницы


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 13

#1 Оффлайн   D1gaTel

    Постоялец


  • Пользователи
  • Репутация
    47
    • Cообщений: 301
    • Форум:3.4.х
    • Город:Москва

Отправлено 02 Август 2012 - 10:15

Как его заставить индексировать страницы?
Ранее всем ботам доступ к сайту был заблочен через robots.txt. Сейчас всё открыто, а яндекс так и не посещает меня:( Гугл каждый день копается по сайту

При добавлении сайта: webmaster.yandex.ru/addurl.xml , пишет "Указанный URL уже проиндексирован."
проиндексировал он только гл. страницу. yandex.ru/yandsearch?text=url:http%3A%2F%2Freal-play.ru&lr=213
  • 0

Заработок и обучение заработку

#2 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 02 Август 2012 - 10:44

Как его заставить индексировать страницы?
Ранее всем ботам доступ к сайту был заблочен через robots.txt. Сейчас всё открыто, а яндекс так и не посещает меня:( Гугл каждый день копается по сайту

При добавлении сайта: webmaster.yandex.ru/addurl.xml , пишет "Указанный URL уже проиндексирован."
проиндексировал он только гл. страницу. yandex.ru/yandsearch?text=url:http%3A%2F%2Freal-play.ru&lr=213

тут не раз обсуждалось поведение индекс бота яндекс в различных темах, этог- ответ не найден. яндекс это большая загадка. а вот зачем блокировать ботов индексации я не понял)))
  • 0

#3 Оффлайн   D1gaTel

    Постоялец


  • Пользователи
  • Репутация
    47
    • Cообщений: 301
    • Форум:3.4.х
    • Город:Москва

Отправлено 02 Август 2012 - 11:07

Фенрир, они создавали http-flood, хост блочил меня . ~1000-чи запросов в секунду, особенно гугл любит флудить:)
Щас же им выдает ошибку 503 за частое обращение к сайту..:)
  • 0

#4 Оффлайн   boichan

    Активный


  • Пользователи
  • Репутация
    4
    • Cообщений: 118
    • Форум:3.4.х
    • Город:Москва

Отправлено 02 Август 2012 - 11:19

а что должно быть в файле robots.txt чтобы сайт индексировался? А то у меня пишет Яндекс: Информация: страницы намеренно запрещены к индексированию или не должны индексироваться.

Документ запрещен в файле robots.txt - 8935
  • 0

#5 Оффлайн   ๖ۣۣۜDesperate™

    Администратор


  • Администраторы
  • Репутация
    4 616
    • Cообщений: 8 560
    • Форум:3.4.х
    • Город:IpbZona
    Участник

Отправлено 02 Август 2012 - 11:47

:stena: А ни как нельзя прошарить темы? http://ipbzona.ru/to...rametr-noindex/

а яндекс так и не посещает меня


http://ipbzona.ru/to...lja-foruma-ipb/
  • 0

#6 Оффлайн   D1gaTel

    Постоялец


  • Пользователи
  • Репутация
    47
    • Cообщений: 301
    • Форум:3.4.х
    • Город:Москва

Отправлено 02 Август 2012 - 11:47

У меня robots от Ip. SEO :)


# HOW TO USE THIS FILE:
# 1) Edit this file to change "/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Sitemap: ****.ru/sitemap.xml

  • 0

#7 Оффлайн   Фенрир

    Постоялец


  • Пользователи
  • Репутация
    33
    • Cообщений: 426
    • Форум:3.2.3
    • Город:На подступах к Москве

Отправлено 02 Август 2012 - 11:47

как то нескока месяцев назад я тут задовал вопрос про связь - присутствие рекламы директ и частоту захода яндекс бота. мне все говорили не связанно. но я всеже проверил сам опытным путем - вывод работает, бот посещает часще!!!
  • 0

#8 Оффлайн   ๖ۣۣۜDesperate™

    Администратор


  • Администраторы
  • Репутация
    4 616
    • Cообщений: 8 560
    • Форум:3.4.х
    • Город:IpbZona
    Участник

Отправлено 02 Август 2012 - 11:50

рисутствие рекламы директ и частоту захода яндекс бота. мне все говорили не связанно.


Посещаемость яндекс директ постоянна, опять же все зависит от правильности настроек юзер агентов (я выше скинул как настраивать их)
  • 0

#9 Оффлайн   D1gaTel

    Постоялец


  • Пользователи
  • Репутация
    47
    • Cообщений: 301
    • Форум:3.4.х
    • Город:Москва

Отправлено 02 Август 2012 - 11:54

๖ۣۣۜDesperate™, это уже давно добавлено.
Правда у яндекса стоит, Регулярное выражение: "Yandex(Blog)?[ /]([0-9.]{1,10})"
  • 0

#10 Оффлайн   ๖ۣۣۜDesperate™

    Администратор


  • Администраторы
  • Репутация
    4 616
    • Cообщений: 8 560
    • Форум:3.4.х
    • Город:IpbZona
    Участник

Отправлено 02 Август 2012 - 12:04

Правда у яндекса стоит, Регулярное выражение: "Yandex(Blog)?[ /]([0-9.]{1,10})"


Поставьте такое выражение Yandex(Blog|Bot)?[ /]([0-9.]{1,10})
  • 0