WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
28 Май 2017, 17:27:43 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от IrenBos (Услуги дизайнеров)
от Jokya (Реклама и доход)
от Kaisa (Тизерные и баннерные сети)
от paklya (Обо всем)
от paklya (Финансы)
от Клим (Работа и услуги)
от Jokya (Yandex)
от juliyasmi (Раскрутка сайтов в поисковиках)
от Yula (Контент, копирайтинг, переводы)
от vsemaykiadmin (CPA-сети)
от KeyAssort (Сервисы и SEO программы)
от lx19912411 (Платное размещение статей и ссылок)
от PeterS (Особенности работы с разными CMS)
от HostiMan (Хостинг)
от vkoksmm1 (SMM для сайта)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Как правильно должен выглядеть файл robots.txt  (Прочитано 2378 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« : 02 Сентябрь 2010, 15:23:05 »

Помогите пожалуйста. Я совсем запуталась. Можно я скопирую, как выглядит у меня файл робот, мне кажется у меня там почти полностью запрещён доступ на форум
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/Disallow: /xmlrpc/
Host: sheknow.ru


User-agent: *

Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all


Если кто знает, что не правильно и почему у меня робот 80% не индексирует, так как говорит что доступ ему закрыт
Записан

Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #1 : 03 Сентябрь 2010, 09:14:38 »

Проблема решена. Можно удалить тему
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #2 : 03 Сентябрь 2010, 10:48:16 »

Зачем удалять? Пусть сюда пишут все, у кого проблема с robots.txt  Подмигивающий
и вообще никакой полезный контент удалять не надо  танцуют все
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Она самая
Стрелец
Offline Offline

Пол: Женский
Сообщений: 1570



Просмотр профиля
« Ответ #3 : 03 Сентябрь 2010, 12:01:07 »

ну так а решение то проблемы какое?
Записан
DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #4 : 03 Сентябрь 2010, 12:18:51 »

эх, решение проблемы у всех разное... я вот с robots.txt для форума очень долго билась, готового решения не нашла, хотя материалов в инете море. Дошла своим умом, что надо закрыть от индексации архив форума, и только после это пошла хорошая индексация и стала расти посещаемость. А вот насчет индексации моих друпал-сайтов я пока ох-как-не-уверена  убитца ап стену. Скопировала у кого-то попсовый вариант роботса, выложенный на друпал-форуме:))) потом, наверное, все равно дорабатывать придется.
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #5 : 03 Сентябрь 2010, 12:41:42 »

Я решила проблему с индексацией форума. Оказалось, что у меня в шаблоне стоял метатег на полный запрет индексации, пришлось поменять. А вот как должен в идеале выглядеть робот так и не знаю. Вот к примеру не знаю как закрыть от индексации профили пользователей.
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #6 : 03 Сентябрь 2010, 12:43:38 »

а есть там папка типа customprofiles или что-то подобное? если есть, ее и закрывай
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap