Перейти к содержимому


Фотография
- - - - -

SEO и IP.Content

Robots.txt

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 9

#1 Оффлайн   salex

    Активный


  • Пользователи
  • Репутация
    6
    • Cообщений: 143
    • Форум:3.4.х
    • Город:Минск

Отправлено 07 Октябрь 2013 - 13:47

Доброго дня.

Имеем установленный форум IPB 3.4.5 и все его страницы подняты из корня в виртуальную подпапку "forums" с помощью правки ЧПУ-шаблонов. IP.Content 2.3.6 установлен как "корневое" приложение.

Задумался, какой должен быть в этом случае robots.txt?

На данный момент правлен таким образом:

User-agent: *
Disallow: /forums/admin/
Disallow: /forums/user/
Disallow: /forums/members/
Disallow: /forums/calendar/
Disallow: /forums/cache/
Disallow: /forums/converge_local/
Disallow: /forums/hooks/
Disallow: /forums/ips_kernel/
Disallow: /forums/retail/
Disallow: /forums/public/style_captcha/
Disallow: /forums/index.php?app=core&module=task
Disallow: /forums/index.php?app=forums&module=moderate&section=moderate
Disallow: /forums/index.php?app=forums&module=extras&section=forward
Disallow: /forums/index.php?app=members&module=chat
Disallow: /forums/index.php?&unlockUserAgent=1
Disallow: /forums/*&module=search
Allow:    /forums/*&search_tags=
Disallow: /forums/*app=core&module=global&section=reputation
Disallow: /forums/*app=core&module=usercp
Disallow: /forums/*app=members&module=messaging
Disallow: /forums/go/
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /forums/*&section=dname
Host: ********
Sitemap: http://*******/sitemap.xml

И главный момент... На главной странице IP.Content размещен контент одного подраздела на форуме.

Ссылки статей имеют канонический вид

<link rel="canonical" href="******************* />

Таже статья на форуме имет тоже канонический вид

<link id="ipsCanonical" rel="canonical" href="*************" />. 

Получается дублирование контента, находящимся по разными каноническими ссылками.

Как тут правильно поступить? Что закрыть от индексации?



Заработок и обучение заработку

#2 Оффлайн   ..ツ⋆WOLF⋆ツ..

    Гуру


  • Модераторы
  • Репутация
    1 799
    • Cообщений: 8 169
    • Форум:3.4.х
    • Город:Казань

Отправлено 07 Октябрь 2013 - 14:48

Если не ошибаюсь, в этом разделе есть подобная тема, и не вы ли его создали?

#3 Оффлайн   Dmitriy427

    Активный


  • Пользователи
  • Репутация
    57
    • Cообщений: 124
    • Форум:3.3.х
    • Город:Тула

Отправлено 07 Октябрь 2013 - 15:59

Кто же за вас решить может - что вы хотите видеть в результатах поисковых запросов, форум или контент?

#4 Оффлайн   salex

    Активный


  • Пользователи
  • Репутация
    6
    • Cообщений: 143
    • Форум:3.4.х
    • Город:Минск

Отправлено 07 Октябрь 2013 - 16:32

что вы хотите видеть в результатах поисковых запросов, форум или контент?

 

Думаю контент, так, как на главной он. Тогда придется закрывать один подфорум от индексации. Как правильно его закрыть?



#5 Оффлайн   Dmitriy427

    Активный


  • Пользователи
  • Репутация
    57
    • Cообщений: 124
    • Форум:3.3.х
    • Город:Тула

Отправлено 07 Октябрь 2013 - 16:42

Disallow: /forums/index.php?showforum=100500
это если без учета чпу, и для каждого подфорума отдельно, надо думать. А ссылки на топики из этого форума, если они есть на главной, закрыть от индексирования избирательно вообще не реально. Средствами robots.txt то-есть. Это нужно в код блока влезть.

#6 Оффлайн   salex

    Активный


  • Пользователи
  • Репутация
    6
    • Cообщений: 143
    • Форум:3.4.х
    • Город:Минск

Отправлено 07 Октябрь 2013 - 17:10

Я где-то видел, как закрывать отдельные форумы и топики от индексации, причем без правки robots. Но не могу снова найти)



#7 Оффлайн   salex

    Активный


  • Пользователи
  • Репутация
    6
    • Cообщений: 143
    • Форум:3.4.х
    • Город:Минск

Отправлено 08 Октябрь 2013 - 00:34

Детский вопрос задам... Если для подфорума закрою права доступа гостям, а открою только для зарегистрированным пользователям, ПС проиндексируют этот подфорум?



#8 Оффлайн   Dmitriy427

    Активный


  • Пользователи
  • Репутация
    57
    • Cообщений: 124
    • Форум:3.3.х
    • Город:Тула

Отправлено 08 Октябрь 2013 - 01:31

Лучше не только права доступа, а вообще скрыть. Иначе в результатах будет фигурировать страница ошибки с запретом доступа.

#9 Оффлайн   salex

    Активный


  • Пользователи
  • Репутация
    6
    • Cообщений: 143
    • Форум:3.4.х
    • Город:Минск

Отправлено 08 Октябрь 2013 - 08:37

Клоакинг тогда получится? Короче вернул все как было. Правами доступа играться не буду. 

 

По поводу мета роботс... есть вообще возможность воплотить для отдельного подфорума?

<meta name="Robots" content="...">


#10 Оффлайн   lowme

    Постоялец


  • Пользователи
  • Репутация
    14
    • Cообщений: 226
    • Форум:3.4.х

Отправлено 11 Октябрь 2013 - 22:43

Индивидуальный мета-тег можно прописать для раздела стандартными средствами в АЦ.

Яндекс не индексирует дублирующиеся страницы, если у них правильно указан тег с каноническим адресом. Это видно в инструментах веб-мастера Яндекс. Такие страницы ("дубли") исключаются из индекса в пользу "орининальной" страницы.







Темы с аналогичными тегами: Robots.txt