WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
26 Сентябрь 2017, 01:22:13 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от polyakovka (Работа и услуги)
от ZarinaF (Раскрутка сайтов в поисковиках)
от Yula (Контент, копирайтинг, переводы)
от Петрова (Юзабилити)
от OlgaGetman (Сервисы и SEO программы)
от WantGirls (Теория и практика)
от OlgaGetman (Наши сайты)
от ladyclick.ru (Реклама и доход)
от salemed (SMM для сайта)
от WantGirls (Финансы)
от Yula (Нужна помощь по сайтам)
от osesakuf (Новичку)
от osesakuf (Yandex)
от osesakuf (Юкоз (ucoz))
от Уля67 (Обо всем)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Как правильно должен выглядеть файл robots.txt  (Прочитано 2400 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« : 02 Сентябрь 2010, 15:23:05 »

Помогите пожалуйста. Я совсем запуталась. Можно я скопирую, как выглядит у меня файл робот, мне кажется у меня там почти полностью запрещён доступ на форум
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/Disallow: /xmlrpc/
Host: sheknow.ru


User-agent: *

Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all


Если кто знает, что не правильно и почему у меня робот 80% не индексирует, так как говорит что доступ ему закрыт
Записан

Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #1 : 03 Сентябрь 2010, 09:14:38 »

Проблема решена. Можно удалить тему
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #2 : 03 Сентябрь 2010, 10:48:16 »

Зачем удалять? Пусть сюда пишут все, у кого проблема с robots.txt  Подмигивающий
и вообще никакой полезный контент удалять не надо  танцуют все
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Она самая
Стрелец
Offline Offline

Пол: Женский
Сообщений: 1571



Просмотр профиля
« Ответ #3 : 03 Сентябрь 2010, 12:01:07 »

ну так а решение то проблемы какое?
Записан
DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #4 : 03 Сентябрь 2010, 12:18:51 »

эх, решение проблемы у всех разное... я вот с robots.txt для форума очень долго билась, готового решения не нашла, хотя материалов в инете море. Дошла своим умом, что надо закрыть от индексации архив форума, и только после это пошла хорошая индексация и стала расти посещаемость. А вот насчет индексации моих друпал-сайтов я пока ох-как-не-уверена  убитца ап стену. Скопировала у кого-то попсовый вариант роботса, выложенный на друпал-форуме:))) потом, наверное, все равно дорабатывать придется.
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #5 : 03 Сентябрь 2010, 12:41:42 »

Я решила проблему с индексацией форума. Оказалось, что у меня в шаблоне стоял метатег на полный запрет индексации, пришлось поменять. А вот как должен в идеале выглядеть робот так и не знаю. Вот к примеру не знаю как закрыть от индексации профили пользователей.
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #6 : 03 Сентябрь 2010, 12:43:38 »

а есть там папка типа customprofiles или что-то подобное? если есть, ее и закрывай
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap