WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
06 Декабрь 2016, 12:12:31 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
Re: Трафик по ключевым словам из поисковиков от Dr_Tapac (Сервисы и SEO программы)
Re: Что вы сделали за сегодня? от Irina0408 (Мотивация)
Re: Нужен копирайтер (свадебная тематика) от Paloma (Контент, копирайтинг, переводы)
Дизайн для Вас! Обращайтесь! Визитки, баннеры, листовки и другое. от Irina0408 (Дизайн)
Re: Ищем копирайтера с опытом работы от MargoMrija (Ищу копирайтера, редактора, контент-менеджера)
Re: Пожалуйста, оцените женским взглядом сделанный мужчиной сайт. от Antonininka (Наши сайты)
Партнёрка казино "Пин-Ап" WELCOME от Moretti (Реклама и доход)
Доска объявлений версии 2.2 от Diana101 (Сайты)
Онлайн-консультант Jivosite со скидкой до 20% от KeyWebRu (Хостинг)
Re: Подарю, продам или сдам в аренду домены от June (Домены)
Автоматизация Яндекс Директ + возврат 8% от рекламного бюджета. от Александр_26 (Полезное)
Re: Quick Sender - Комбайн для продвижения в ВКонтакте от Dima_Myrzich (Социальные сети)
Re: Марафон Спарта от Пузата - Почему я иду от Katelite (Обучение сайтостроению, SEO и заработку)
Re: Чистенький женский СДЛ. Размещение в авто от uckpa (Платное размещение статей и ссылок)
Re: Имеют ли вес покупные ссылки при теперешних правилах Яндекса от Lina7 (Раскрутка сайтов в поисковиках)
Свежие темы
Показать ещё
  Печать  
Страниц: 1 2 3 ... 9
Автор

Тема: robots для Джумлы  (Прочитано 14366 раз)

0 Пользователей и 1 Гость смотрят эту тему.
craft
Offline Offline

Пол: Женский
Сообщений: 1972


Мясоооо!


Просмотр профиля WWW
« : 07 Сентябрь 2011, 23:07:06 »

Просматриваю сейчас позиции, и судя по всему у меня индексируется содержимое модулей, хотя в роботсе они закрыты убитца ап стену роботс стандартный
Код:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Записан

MaRt
SEO
Offline Offline

Пол: Мужской
Сообщений: 2268



Просмотр профиля
« Ответ #1 : 08 Сентябрь 2011, 18:02:43 »

Прочтите на форуме жумлы, как правильно делать роботс, что это такое ну и т.д..


Disallow: /modules/ - это папка модулей, а не их содержимое. И, естественно, содержимое будет индексироваться.
Записан

Портал о недвижимости

Продвижение вашего бизнеса в интернете
Success
« Ответ #2 : 09 Сентябрь 2011, 19:31:32 »

Привет всем.

Вот так выглядит мой роботс (у меня он работает. Если я конечно правильно искала, то дублей на сайте всего один (и то главной, не знаю пока, как избавиться от него).:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/  (это я отдельно от компонентов добавила, т.к. до этого лезли в индекс всякие  /component/user, /component/poll, component/content/, /component/search/...)
Disallow: /images/ (я хочу, чтобы картинки индексировали, т.к. в джумле 1.6 они по умолчанию запрещены к индексации)
Disallow: /component/content/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /*?start=  (в принципе, то же, что и "?" ниже, но это конретно для запрета индексции категорий с цифрами - ?start=7, ?start=14...)
Disallow: /tmp/
Disallow: /*.rss$ (не знаю, как вам, но я не хочу, чтобы это индексилось)
Disallow: /*.pdf$ (то же самое)
Disallow: /*=atom (форматы типа /категория?format=feed&type=atom)
Disallow: /*? (запрещены к индексации ВСЕ страницы с "?")
Disallow: /*?&bn=goideal (это какие-то огрызки, которые плодятся также числами, как и ?start=...)
Host: www.ВАШ САЙТ
ИЛИ: Host: ВАШ САЙТ

Не забывайте указать хост в конце, иначе страницы с www и без также могу рассматриваться поисковиками как дубли.

Составляем верный роботс, долго ждем переиндексации и вылета ненужных страниц (можно удалить самим вручную), снова проверяем сайт на дубли в гугле:  танцуют все (в яшке не знаю как)
site:uwomen.ru/& -site:uwomen.ru/*

(вставьте свой сайт вместо uwomen.ru в обоих местах)

Если с чем не согласны или есть дополнения, пишите, интересно.  Улыбка
« Последнее редактирование: 09 Сентябрь 2011, 19:47:49 от Success » Записан
craft
Offline Offline

Пол: Женский
Сообщений: 1972


Мясоооо!


Просмотр профиля WWW
« Ответ #3 : 09 Сентябрь 2011, 19:34:24 »

У меня индексируется содержимое модулей, форма регистрации, прочий хлам типа распечатать статью.. как его убрать?
Записан

Success
« Ответ #4 : 09 Сентябрь 2011, 19:36:15 »

У меня индексируется содержимое модулей, форма регистрации, прочий хлам типа распечатать статью.. как его убрать?
На 99% это здесь:
Disallow: /component/
Подмигивающий
Записан
Anton
« Ответ #5 : 09 Сентябрь 2011, 19:44:55 »

2 лишних правила с вопросами.
Записан
Piranka
Offline Offline

Пол: Женский
Сообщений: 729


Анна


Просмотр профиля
« Ответ #6 : 09 Сентябрь 2011, 19:48:07 »

Цитировать
Disallow: /*?start=  (в принципе, то же, что и "?" ниже, но это конретно для запрета индексции категорий с цифрами - ?start=7, ?start=14...)
А зачем это нужно убирать от индексации? Хотя оно и не нужно, чтобы индексировалось наверно. Объясните, пожалуйста  Улыбка
Записан
Success
« Ответ #7 : 09 Сентябрь 2011, 19:52:04 »

Антон, я знаю, достаточно
Disallow: /*?
, я так, для подстраховки.   :D
Disallow: /*?start=  (в принципе, то же, что и "?"
Disallow: /*?&bn=goideal

 Друе могут ставить просто
Disallow: /*?
Спасибо за замечание.  Улыбка

А зачем это нужно убирать от индексации? Хотя оно и не нужно, чтобы индексировалось наверно. Объясните, пожалуйста
У меня на сайте они все время разные. Есть категория красота, зачем еще нужна красота старт 7 или красота старт 14 с тем же самым контентом. Думаю, так.  Улыбка
Записан
Piranka
Offline Offline

Пол: Женский
Сообщений: 729


Анна


Просмотр профиля
« Ответ #8 : 09 Сентябрь 2011, 19:56:07 »

Спасибо, буду исправлять свой robots
Записан
Success
« Ответ #9 : 09 Сентябрь 2011, 19:57:11 »

Спасибо, буду исправлять свой robots
Не за что.  Подмигивающий
Записан
Piranka
Offline Offline

Пол: Женский
Сообщений: 729


Анна


Просмотр профиля
« Ответ #10 : 09 Сентябрь 2011, 20:03:58 »

Еще спрошу. Улыбка
У меня прописано вот это    Disallow: /xmlrpc/   что это?
И прописано вот так:
Disallow: /*atom*.html
Disallow: /*rss*.html
А как лучше, у тебя по другому.
Записан
Success
« Ответ #11 : 09 Сентябрь 2011, 20:07:36 »

Первое не знаю, постараюсь найти, а это
Disallow: /*atom*.html
Disallow: /*rss*.html
норм, если у Вас ссылки на хтмл заканчиваются.  Улыбка
А что, рсс не заканчивается на .rss?  Непонимающий
Записан
Piranka
Offline Offline

Пол: Женский
Сообщений: 729


Анна


Просмотр профиля
« Ответ #12 : 09 Сентябрь 2011, 20:17:28 »

Цитировать
А что, рсс не заканчивается на .rss?
Нет, было такого типа:
/mysite.ru/site/rss-21.html/
Записан
craft
Offline Offline

Пол: Женский
Сообщений: 1972


Мясоооо!


Просмотр профиля WWW
« Ответ #13 : 09 Сентябрь 2011, 20:19:24 »

Спасибо, буду пробовать
Записан

Success
« Ответ #14 : 09 Сентябрь 2011, 20:23:19 »

Спасибо, буду пробовать
скрыто
Нет, было такого типа:
/mysite.ru/site/rss-21.html/
Тогда скорее всего правильно у Вас. Если я ошибаюсь, поправьте меня, девочки.  Улыбка
Думаю так: Disallow: /*rss*.html
Записан
Страниц: 1 2 3 ... 9
  Печать  
 
Перейти в:  

| Sitemap