Форум поддержки VaM Shop

в общем смотрите- поисковики индексируют на магазине кучу мусора.. то есть тыркаются в корзину.. тыркаются в сравнение товара и так далее..в итоге много лишних страниц..
есть предложение- внести в robots.txt запреты на индексирование..
как это сделать?
вот пример-
77.88.29.247 - - [08/Aug/2008:02:52:03 +0300] "GET /index.php/action/buy_now/BUYproducts_id/3249/cat/c52_Novaya-liniya-SHANISS.phpl/on_page/10/sort/name/direction/desc/page/4 HTTP/1.1" 200 69976 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:52:21 +0300] "GET /index.php/action/buy_now/BUYproducts_id/3269/cat/c52_Novaya-liniya-SHANISS.phpl/on_page/20/sort/price/direction/asc/page/3 HTTP/1.1" 200 70298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:52:39 +0300] "GET /darsanval.phpl?sort=name&direction=desc&on_page=100 HTTP/1.1" 200 53440 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.29.247 - - [08/Aug/2008:02:55:59 +0300] "GET /niilop.phpl?sort=name&direction=desc&page=1 HTTP/1.1" 200 120796 "-" "Yandex/1.01.001 (compatible; Win16; I)"
это уже несколько другое...
в общем хлам просто мегатоннами.. надо что-то делать.. это крайне плохо сказывается на SEO!

А через robots.txt разве можно ограничить имено эти страницы, с такими параметрами?!

так вот я и спрашиваю..это же по ходу дела как папка../index.php/action/buy_now/ или даже  /index.php/action/
оно или не оно..

Я вот даже не знаю точно, а не пробовал такие строки добавить в robots.txt !?

я то могу попробовать.спрошу даже пожалуй на серченжайне- просто не хочется потом весь сайт потерять)) если вдруг запретит к индексации index.php

Так я ж ведь не спец. в этих делах, поэтому не могу сказать однозначно.

а ясно. спрошу тогда на форумах..просто по моим наблюдениям тут зарыта огромная собака.. советую тоже разобраться.. дело весьма важное

Так индексируется вообще очень много страниц, ведь разные параметры могут быть в странице.
Я согласен, что не очень хорошо, нужно только нужные страницы в поисковик отдавать, но вот можно ли так сделать лишь через robots.txt, если честно не очень уверен.

Да плохо это, Саша, плохо. И лишние и дублирующиеся. Через meta и 301 надо управлять индексацией.
P.S. Полезно для прочтения - http://googlewebmastercentral.blogspot.com/2008/06/duplicate-content-due-to-scrapers.phpl

http://forum.searchengines.ru/showthread.php?t=58355 вот тут есть некоторая информация..
то есть получается если запретить /index.php/action/ то все что далее- будет автоматом запрещено! и это радует. я прав?

Спасибо за ссылки.

geval

Вроде бы да, должно помочь, судя по теме на форуме.
А ты ещё не пробовал этот вариант?!

Давай я тогда добавлю в robots.txt эту строку.

Нужно тогда ещё убирать из индексации страницы с отсортированными товарами, т.е. когда выбирается сортироки по цене, по названию, это ж тоже дубли получаются.

я просто возьму поставлю в какие-нибудь магазины..посмотрю что будет.. пока еще не пробовал- еще раз посмотрю про это и добавлю. там ведь не только эти страницы- наверняка еще есть целая куча хлама..

Да, нужно будет поглядеть, какие строки в robots.txt добавить.
В следующей версии эту строку точно добавлю и ещё посмотрю, какие страницы не нужны.

Вот завёл сообщение в bug tracker'e - http://vamshop.ru/bugs/view.php?id=157

Спасибо за сообщение.

http://cайт.ru/index.php/cat/c52_Novaya-liniya-SHANISS.phpl/on_page/10/sort/price/direction/asc/page/2
вот еще пример проиндексированной страницы... опять же- все это сидит в webmaster.yandex.ru ( в мои сайты)= только что проверял

http://sun-mag.ru/biolit_kosm.phpl?sort=price&direction=desc&on_page=10&page=2 там же рядом вот такая ерунда..

может все таки стоит в самом магазине сделать так- чтобы ненужные пустые страницы- не несущие смысловой нагрузки- вообще не индексировались изначально? либо сделать выбор... потому что на такие страницы походу дела невозможно robots.txt написать..

ах да..вот еще задачка для написания .htaccess чтобы при заходе на ?sort=price&direction=desc&on_page=10&page=2 появлялось on_page/10/sort/price/direction/asc/page/2  иначе двоение ужас.. в поисковых системах..

Как вычистить такие страницы я даже и не знаю если честно, особенно когда задан SEO URL, до таких страниц ведь через .htaccess не добраться.

Нужно разве что отредактировать шаблон списка товаров и убрать блок с ссылками сортировки.

а если в этих ссылках поставить NOINDEX? где этот шаблон и эта ссылка? если поставить noindex или nofollow может они удалятся..ссылки эти

А как именно такой странице поставить noindex ?!
Я не знаю если честно.

noindex же в meta тэгах ставится?!
Если в мета-тэгах, то это нужно в /includes/header.php как-то прописывать.

ставится в тэгах..конкретной части сайта вообще то....которую не надо индексировать

Ну а как определить то эту конкртеную часть, в этом же и проблема.
Нужно как-то условие правильно составить и в /includes/header.php писать что-то вроде:

да походу дела буду  к специалистам с веблансера обращаться..я просто заметил в старых версиях дружба с поисковиками лучше- чем в новых- походу изза этой темы двоящихся страниц..

Да, появилась ведь сортировка, seo url, поэтому и появилось больше индексируемых страниц в поисковике.

просто реально сортировка то не нужна для индексации..даже вредит я думаю..

http://forum.searchengines.ru/showthread.php?t=260269 вот тему завел- надеюсь там помогут.. если помогут вы это там и узнаете

Кстати..а как удалить вообще из шаблона сортировку? то есть все эти ссылки..у меня товары для здоровья..навряд ли кто-то будет по цене да по названию сортировать скажем те же бады..

Если не нужна, её нужно убирать конечно.
Но всё-таки не всем ведь не нужна, кому-то наоборот как раз очень даже полезна.

Удали из шаблона списка товаров /templates/шаблон/module/product_listing:

в общем сделали мне htacess, может кому надо будет..чтобы удалить уже проиндексированные страницы сортировки..
RewriteEngine On
RewriteBase /

RewriteCond %{QUERY_STRING} ^.*sort=.*$
RewriteRule ^.*html.*$ http://sun-mag.ru/ [L]

вот так начинается файл.. две беды правда-
скажем заходим на страницу http://sun-mag.ru/shaniss.phpl?sort=price&direction=desc&on_page=10&page=4
делается редирект на главную страницу...и при этом ссылка остается такого вида уже...обрезанная
http://sun-mag.ru/?sort=price&direction=desc&on_page=10&page=4

если же делать вместо главной страницы другую-то ошибка выдается.. я так понял причина тут такая- что в хтакцессе прописано-что файл manager.php дальше по условию обрезает страницу..и на выходе получается такое..

если же ставить в конце htaccess  строки
RewriteCond %{QUERY_STRING} ^.*sort=.*$
RewriteRule ^.*html.*$ http://sun-mag.ru/ [L]

то редирект вообще не работает..
как решить эту проблему ? ( что только на главную можно редирект задать, и то что обрезает так..)

Я совсем в mod_rewrite ничего не понимаю, даже и не могу подсказать, если честно.

а что будет если в роботс прописать ?

Disallow: /index.php/action/
Disallow: /products_new.php/action/
Disallow: /products_info.php/action/

Нормально всё будет, по идее.

А если попробовать  создавать ссылку "сортировки" в таком виде:
<a href="http://сама_ссылка.ru" rel="nofollow">текст ссылки</a> .
Не знаю насколько это сложно и возможно ли вообще реализовать, но, судя по различным источникам, rel="nofollow" "останавливает" Гугл.

А ты пробовал добавлять nofollow в шаблон списка товаров /templates/шаблон/module/product_listing, вот в этом куске:
Вот это и есть код ссылок сортировка после href атрибуты можно и rel="nofollow" добавить, если ты говоришь, что поможет.

Я просто не совсем в курсе, как правильно делать.

Да вот сделал

Ненужных страниц это не уберёт, зато надеюсь новых "ненужных" не сделает.

Источник информации, например, здесь:
http://noindex-nofollow.info/nofollow.php (http://noindex-nofollow.info/nofollow.php)

Понятно, ссылка что-то не открывается, пишет Internal Server Error

Исправил, извините.

Теперь работает, спасибо.

geval, дубли копий для ПС, это конечно не айс, но, в последнее время замечено, что Я борется с дублями, и это не так трагично для сео.
Касаемо запрета перехода бота по линкам сортировки, для последующей индексации, с этого и надо было начинать, простая правка шаблона и все. Написали запрет для локальной ссылки, бот и не узнает никогда что есть динамический результат перехода, кроме как в случае если на результат применения такого фильтра не проставлена ссылка извне.
ps. не очень понимаю, за что вас так заминусовали на серче :o.

Starichkov
noindex - только для Яши, Гугл это игнорирует.
Сейчас проверяю rel="nofollow"...
Знаете что-то ещё? Поделитесь, пожалуйста.

Запрет для локальной ссылки проблем не решает. Всегда существует вероятность, что на "лишнюю" страницу найдётся незапрещенная ссылка. Например естественная. Поэтому в плюс к запрету индексации "лишних" страниц через noindex/rel="nofollow" нужно запрещать саму индексацию этих "лишних" страниц.

Наверное, но вероятность очень маленькая. И , перечитав ещё раз тему, я не нашёл как можно закрыть страницы типа
               /МАГАЗИН.com/ТОВАР.phpl?currency=USD&...
                                                 ...?sort=price&...
                                                 ...?direction=asc&...
                                                 ...?language=ru&...
Многократно перемножающие друг друга, т.е. "закрыть" нужно сортировки.
На такие страницы не должно быть "естественной ссылки".

Попытаюсь закрыть при помощи rel="nofollow".
На примере languages.php правильно ли я добавил в
rel="nofollow".
Точки, запятые?...
Всё работает, а в адресной строке .../index.php?language=ru%20rel=   
Спасибо.

Лучше наверное так:

Ошибаетесь. Причём вероятность возрастает с увеличением популярности сайта.
Закрывать нужно через мета-теги.
Видимо ваш большой опыт позволяет делать такие умозаключения.

Я же говорю - есть масса практических примеров. Впрочем я не настаиваю  ;D

Никаких "умозаключений". Я (с моим опытом) лишь хотел бы получить помощь в решении проблемы  :).
Извините.

Лично я считаю что по разному отсортированные страницы - для яндекса страницы разные, а для гугля и подавно. Но в обсуждении все таки поучаствую.
Заставить поисковики не индексировать ссылки просто:
Добавляем в файл  .htaccess , после строки
RewriteBase /
строку
RewriteRule ^sort/(.*)$ /$1 [L] 

затем в конец robots.txt
Disallow: /sort/

То есть фактически для движка урл вида http://www.site.ru/sort/bolonskie_udochki.phpl?sort=name&direction=desc&filter_id=6&on_page=100 будет абсолютно тем же самым что и  http://www.site.ru/bolonskie_udochki.phpl?sort=name&direction=desc&filter_id=6&on_page=100 , а вот поисковикам индексация страниц в каталоге  /sort/ запрещена. Осталось только добавить /sort/ во все сортировочные ссылки в файлах default.php и product_listing.php .

Убрать уже проиндексированные  страницы сложнее, так как старые адреса, к сожалению, будут продолжать работать.
Варианта 2. Самое надежное - выдавать ошибку 404 по всем адресам в которых содержатся параметры sort, direction, on_page или filter_id.
Второй вариант - сделать так чтоб для ботов эти параметры были нерабочими. Например мы можем в файле application_top.php переписать эти параметры из $_GET клиенту в куки, и соответственно при обработке брать их уже не из $_GET, а из куков. Понятно что боты( поисковые ) никаких куков не принимают, и для них никаких сортировок или фильтраций существовать не будет, а одинаковые страницы они рано или поздно склеят. В таком подходе есть один существенный плюс: человек может единожды настроить как сортируются товары, и сколько их отображается на странице, и всегда будет видеть именно такую сортировку. В тех же магазинах, где важна пред установка собственной сортировки для каждой категории, можно просто задать время жизни куки в 1 секунду.
Что то подобное можно проделать используя не куки а сессии.
Впрочем, это только размышления - авось кто что умнее придумает.  ::)

Спасибо за готовый пример.

Может быть просто при включенном SEO в robots.txt прописать:

Disallow: /*?

Поскольку, локально при создании карты прогой GSiteClawler получаются страницы типа:

http://www.bla-bla.ru/petrushka.phpl?action=........
http://www.bla-bla.ru/petrushka.phpl?q=........
http://www.bla-bla.ru/petrushka.phpl?sort=........

Нет, нельзя, Вы ж запретите индексацию всех страниц такой строкой, если я правильно понимаю.

Ну я этого и хочу, зачем мне показывать роботу дубликаты страниц (сортировку допустим)? Если у каждой категории и у каждого товара есть оригинальное SEO имя с расширением html
Хотя конструкция не совсем верна.
Тогда все таки, как убить эти страницы оставив при этом для роботов оригинальную страницу http://www.bla-bla.ru/petrushka.phpl

Вот тут я даже и не знаю, но есть сомнения, что если Вы такую строку добавите, то и карта сайта не поможет.
Не знаю точно, как будет робот вести себя если в robots.txt всё запрещено, но есть карта сайта.

Специалиста в студию!

Возможна такая конструкция?

Allow: /*.phpl
Disallow: /*?

Я бы так не делал конечно.
Наверное нужно на SEO сайтах почитать про особености robots.txt и яндекс с гуглом.

Примерно так:
Disallow: /*action=*
Disallow: /*q=*
Disallow: /*on_page=*

По ходу пьесы возник ещё вопрос:
Как сделать 301 переадресацию со старых страниц на новые в одном домене, учитывая то что в адресах страых страниц присутствует знак вопроса ("?")

Пример (в .htaccess):
Redirect 301 /shop/products_new.php?page=24 http://www.bla-bla.ru/
- не работает
Подскажите, может кто сталкивался?

Вот пример как делается редирет с домена с www. на без www.

http://vamshop.ru/faq.php/faq_id/42/question/Kak-sdelat-redirekt-pri-zahode-s-www-adresom-na-osnovnoi-domen-bez-www-

Посмотрите.

А так же почиайте документацию в .htaccess, я так и не кажу готовый ответ, сам не делал никогда.

Да весь инет перерыл. Вопросы такие есть а вот ответов нет. Хотя один встречал с помощью скрипта, но он не подходит.

Ну наверное только каждый адрес старый в отдельности прописывать и ссылку на новый, вручную т.е.

Либо какой-то скрипт писать, что б перенапрявлял, т.е. парой строк сделать не получится, скорее всего.

всё о robot.txt яндекса http://help.yandex.ru/webmaster/?id=996567

Спасибо за ссылку

всегда пожалуйста))

Доброго времени суток!
Саша, подскажи, что же делать?
Хочу убрать из индекса ссылки типа "/sort/name/direction/desc", закрыть от индексации,
в Роботс прописал
Disallow: /sort/
потом добавил
Disallow: /sort/price/direction/desc
Disallow: /sort/price/direction/asc
Disallow: /sort/name/direction/desc
Disallow: /sort/name/direction/asc
и до кучи это
Disallow: /on_page/10
Disallow: /on_page/20
Disallow: /on_page/50
Disallow: /on_page/100
а в результате проверки роботс на страничке яндекс вебмастер, ссылки типа /sort/name/direction/desc разрешены к индексации.
Чета не соображаю уже что еще  и где прописать?
Спасибо.

Примерно так я делал. Помогло.

User-agent: *
Disallow: /address_book_process.php
Disallow: /ajax_shopping_cart.php
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_edit_process.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /address_book.php
Disallow: /advanced_search_result.php?
Disallow: /affiliate_affiliate.php
Disallow: /articles_new.php
Disallow: /articles.php
Disallow: /ask_a_question.php
Disallow: /checkout_alternative.php
Disallow: /checkout_process.php
Disallow: /advanced_search.php
Disallow: /advanced_search_result.php
Disallow: /cache/
Disallow: /admin/
Disallow: /checkout_address.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_payment.php
Disallow: /checkout_success.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_guest.php 
Disallow: /create_account_process.php
Disallow: /create_account_success.php
Disallow: /faq.php
Disallow: /featured.php
Disallow: /highslide/
Disallow: /index.php/manufacturers_id/
Disallow: /info_shopping_cart.php
Disallow: /shopping_cart.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /news.php
Disallow: /newsletter.php
Disallow: /products_new.php
Disallow: /password_double_opt.php
Disallow: /popup_image.php
Disallow: /popup_search_help.php
Disallow: /privacy.php
Disallow: /product_notifications.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /product_compare.php
Disallow: /reviews.php
Disallow: /shipping.php
Disallow: /shop_content.php
Disallow: /export/
Disallow: /download/
Disallow: /includes/
Disallow: /pub/
Disallow: /media/
Disallow: /index.php/action/
Disallow: /article_info.php/action/
Disallow: /product_info.php/action/
Disallow: /special.php
Disallow: /specials.php
Disallow: /*action=*
Disallow: /*q=*
Disallow: /*on_page=*
Disallow: /*cPath
Disallow: /*manufacturers_id
Disallow: /manu/
Disallow: /index.php/manu
Disallow: /index.phpl?products_id
Disallow: /cookie_usage.php
Disallow: /index.php/products_id

Плюс закрывал <noindex><a rel="nofollow" href="....">бла-бла</a></noindex>
Но для каждого сайта отдельно надо смотреть.
Для текущего выдавал только страницы html

Проверяйте корректность robots.txt с помощью инструментов для web мастеров

Спасибо, буду пробовать дальше.
А что касается ноиндекс и нофолоув, если я на каждую страницу буду ставить руками, а их около 7 тысяч, долго ставить придется.

Все оказалось проще, оставил так и заработало:
Disallow: /*sort/
Disallow: /*on_page/
Ночью голова уже не работала.
Спасибо всем.

Если не против, я эти строчки добавлю тогда в robots.txt по умолчанию + строки от solopov

Я не против.
но
Disallow: /*sort/
Disallow: /*on_page/
Закрывают от индексации только сортировку товара по имени, цене и количеству на странице.
А по строкам Solopov, надо смотреть,
например в его версии закрыты от индексации статьи
Disallow: /articles.php
и вопросы и ответы
Disallow: /faq.php
Мне их закрывать не нужно было.
Так что не все нужно закрывать.

Да, я убрал faq.php и aticles.php

Закрываем от индексации (noindex в т.ч.) в модулях и в шаблоне дизайна. О каких тысячах страниц идет речь?

aticles.php - это статьи, у них есть SEO, вот и выдавайте их html - ом.
Вот по FAQ надо движок дорабатывать..

А вообще да, наверное так и правильнее, сразу индексировать саму статью и сам вопрос.

Я думаю, что все же в robots.txt закрывать не нужные страницы для новичков проще, можно сразу увидеть результат, а если в шаблон лезть, можно и лишнее закрыть.
В любом случае спасибо за помощь.

To Vam:
добавил еще эти строки

Disallow: /index.php?action=buy_now
Disallow: /checkout_shipping.php
Disallow: /specials.php/action/buy_now

Не нужны эти страницы в индексе.

Добавил.

Правда checkout_shipping уже был.

У меня не было.

Вот еще добавил

Disallow: /print_product_info.php/

Может не в тему немного. Тут столкнулся с траблой одной в сети.

Обычно, как один из методов при работе со страницей использую http://www.promolab.ru/free/parser.php

Как оказалось, большинство подобных ресурсов просто не понимает UTF-8

Может кто подскажет где есть подобный сервис. На халяву разумеется. ;)

Лично я не в курсе.

solopov посмотри..может тут что подходящее есть
http://www.miralab.ru/tools/service