dimoheha (dimoheha) wrote,
dimoheha
dimoheha

META-теги для поисковых роботов

Сегодня еще дополнительно изучил метатеги для роботов:

<meta name="robots" content="noindex">

Оказывается, некоторые свойства индексирования можно использовать непосредственно в HTML в теле минуя robots.txt.
Я неоднократно задумывался, как поисковикам запрещать индексировать ссылки на страницах или переходить по ним непосредственно, например большое меню: помню были времена, когда меню брали в тег <nofollow>, но использовали карту сайта (на отдельной странице или xml карту сайта). Чтобы скармливать поисковикам только то, что ты хочешь и не на сантиметр выше - можно использовать такой метатег на странице сразу (не переходит по ссылкам):

<meta name="robots" content="nofollow"/>
Это запрещает поисковикам лазить по ссылкам на всей странице или даже страницах.

Кстати, в примере у меня есть один ресурс, в котором повторяется один и тот же текст (так хотел заказчик) на многих страницах и я использовал метатег выборочно в одной области текста <noindex>.
Чтобы часть сайта запретить к индексации (шаблон страницы) - тоже можно использовать метатег, он аналогичен описанию в robots.txt:

<meta name="robots" content="noindex" />

Запрещает индексировать именно эту страницу или раздел (например шаблону к разделу добавляем данный метатег и все - неиндексация и не нужно перечислять кучу страниц к запрету индексации). Полезно для того, когда переделывают ресурс полностью или тестовые страницы, либо сайты типа Лепрозория.

Есть еще один параметр, при котором запрещается давать пользователю ссылку на кэш сайта, хорошо если ты оппозиционер и ведешь блог. Чуть жареным запахло: ты выключаешь просто блог и все! А слова: ЯНДЕКС ВСЕ ПОМНИТ - уже никому не будут интересны. Почему? Все просто: ссылки на кэш нету!

<meta name="robots" content="noarchive"/>
Вот пример кстати, как просто можно читать блог навального без анонимайзеров, TOP и P2P-сетей:
nocach
Вот архивчик:
nocach2

А вот как блог выглядит, если перейти по ссылке:
nocach1

У меня в том году лично была ситуация, когда я закрыл свой ЖЖ от некоторых не сильно радивых людей, но они говорили мне: ЯНДЕКС ВСЕ ПОМНИТ! И пытались читать дальше ЖЖ через КЭШ яндекса... но им это быстро наскучило. Поэтому многие делают скриншоты и хранят их на своем компьютере - любые обсуждения. Вещица полезная - неет кэша - нет доказательств!

Итак, я подошел к самому главному, главнйо теме: дубляж страниц, при которых текст один и тот же, но страницы имеют вид:

www.site.ru/pages?id=2


А страница оснавная и главная с текстом имеет вид:
www.site.ru/blog


Вот живой пример, основная страница должна иметь текст, а другие - из-за криворукости программиста - конечно же будет дублироваться:
http://ivenue.ru/catalog/accessories/iphone/
http://ivenue.ru/catalog/accessories/iphone/?PAGEN_2=2

Чтобы не прятать текст на страницах каталога, нужно применять на основной и пследующих страницах каталога http://ivenue.ru/catalog/accessories/iphone/?PAGEN_2=2 код:

<link rel = "canonical" href="http://ivenue.ru/catalog/accessories/iphone/"/>

Т.е. если это раздел, то добавляется автоматически методом php в коде страницы метатег. Ранее я не знал о наличии такой функции, в 2010 году я сталкивался с тем, что переделывал сайт свадебного салона, в котормо было куча свадебных платьев. Я не делал постраничную навигацию типа:

site.ru/catalog/collection.html?PAGEN_2=2


Я попросил своего напарника сделать клевую фичу: яваскрипт-листалка страниц каталога. Все страницы имели вид:

site.ru/catalog/collection.html
site.ru/catalog/collection.html#2
site.ru/catalog/collection.html#3
...
site.ru/catalog/collection.html#n

Т.е. страница загружается со всеми позициями сразу - интернет давно у всех уже быстрый, но яваскрипт отображал только 9 шт сразу в каталоге и мы предлагали пользователю нажимать на циферки типа страниц, но обновление страницы как таковой не было, была красивая анимация: позиции каталога листались влево и снизу выезжали новые - достаточно быстро и плавно. Поисковики решетку в странице видят как якоря и не более. В итоге у нас получилась одна страница с решетками-якорями, которые активировались при нажатии на цифры каталога и без перезагрузки давали мы пользователю позиции каталога...

Но, мы видим в реальности - это я так заморочится, а не все остальные. Я незная того, что есть данный метатег - использовал хитрый способ, который нравился как поисковику (нет дублей), так и пользователям - красиво и быстро. В начале долго грузится только, но это не заметно для пользователя - первые позиции грузятся в первую очередь!
Tags: метатеги, оптимизация, поисковые системы, программирование
Subscribe

Buy for 10 tokens
Buy promo for minimal price.
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 0 comments