WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
22 Январь 2017, 11:58:51 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от DesignPro (Дизайн)
от injnnak22 (Реклама и доход)
от alyana (Контент, копирайтинг, переводы)
от Ninok-sb (Платное размещение статей и ссылок)
от Loki_Dex (Особенности работы с разными CMS)
от Петрова (Новичку)
от Bukvarix (Сервисы и SEO программы)
от Loki_Dex (Наши сайты)
от Pomazyka (Семья)
от Loki_Dex (Работа и услуги)
от salemed (Социальные сети)
от FreeZe (Покупка-продажа)
от rusrob (Ищу копирайтера, редактора, контент-менеджера)
от Holly (Тизерные и баннерные сети)
от vuxaru (Пожелания к администрации форума)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Как правильно должен выглядеть файл robots.txt  (Прочитано 2364 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« : 02 Сентябрь 2010, 15:23:05 »

Помогите пожалуйста. Я совсем запуталась. Можно я скопирую, как выглядит у меня файл робот, мне кажется у меня там почти полностью запрещён доступ на форум
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/Disallow: /xmlrpc/
Host: sheknow.ru


User-agent: *

Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all


Если кто знает, что не правильно и почему у меня робот 80% не индексирует, так как говорит что доступ ему закрыт
Записан

Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #1 : 03 Сентябрь 2010, 09:14:38 »

Проблема решена. Можно удалить тему
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #2 : 03 Сентябрь 2010, 10:48:16 »

Зачем удалять? Пусть сюда пишут все, у кого проблема с robots.txt  Подмигивающий
и вообще никакой полезный контент удалять не надо  танцуют все
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Она самая
Стрелец
Offline Offline

Пол: Женский
Сообщений: 1565



Просмотр профиля
« Ответ #3 : 03 Сентябрь 2010, 12:01:07 »

ну так а решение то проблемы какое?
Записан
DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #4 : 03 Сентябрь 2010, 12:18:51 »

эх, решение проблемы у всех разное... я вот с robots.txt для форума очень долго билась, готового решения не нашла, хотя материалов в инете море. Дошла своим умом, что надо закрыть от индексации архив форума, и только после это пошла хорошая индексация и стала расти посещаемость. А вот насчет индексации моих друпал-сайтов я пока ох-как-не-уверена  убитца ап стену. Скопировала у кого-то попсовый вариант роботса, выложенный на друпал-форуме:))) потом, наверное, все равно дорабатывать придется.
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #5 : 03 Сентябрь 2010, 12:41:42 »

Я решила проблему с индексацией форума. Оказалось, что у меня в шаблоне стоял метатег на полный запрет индексации, пришлось поменять. А вот как должен в идеале выглядеть робот так и не знаю. Вот к примеру не знаю как закрыть от индексации профили пользователей.
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #6 : 03 Сентябрь 2010, 12:43:38 »

а есть там папка типа customprofiles или что-то подобное? если есть, ее и закрывай
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap